— 编者按 —
近日，中国科学院深圳先进技术研究院胡战利教授团队和中山大学肿瘤防治中心樊卫主任团队的合作研究工作"OIF-Net: An Optical Flow Registration-Based PET/MR Cross-Modal Interactive Fusion Network for Low-Count Brain PET Image Denoising"发表于国际期刊IEEE Transactions on Medical Imaging（IF=10.6）[1]。该项研究基于联影医疗时空一体超清TOF PET/MR uPMR790影像平台，提出了一种基于光流配准和空间与通道特征增强的跨模态交互融合网络，通过PET与MR的跨模态配准和联合算法，显著降低低计数PET的图像噪声水平。这项研究为低计数PET图像的多模态降噪算法提供了更广阔的思路。
相关研究成果发表于国际权威期刊IEEE Transactions on Medical Imaging（IF = 10.6）
01 研究背景
传统的低计数PET降噪方法主要采用在迭代重建中加入基于统计学特征和先验知识的损失函数来实现图像降噪，但这类方法在降低图像噪声的同时会损失图像细节。深度学习网络具有优越的表达能力和非线性的特点。采用深度学习网络的PET降噪方法可以在降低图像噪声的同时保持图像细节。通过MR数据的加入，深度学习网络能进一步提高低计数PET的图像质量。然而，以上重建方法未考虑PET与MR间的配准误差和模态间的有效信息连接。在该研究中，作者在重建网络中加入了基于光流模型的配准模块（OIF-Net），解决了多模态间的特征错位问题；并使用空间与通道特征增强模块(SC-FEM)和跨模态特征融合模块(CM-FFM)，增强了PET与MR模态间的特征融合能力和对低计数PET图像的降噪能力（图1）。
图1. 基于光流配准的低计数PET降噪网络。（a）OIF-Net整体结构，包含两个分支分别处理PET/MR两种模态输入和特征融合；（b）空间-通道特征增强模块(SC-FEM)；（c）光流配准模块（OIF-Net）；（d）跨模态特征融合模块(CM-FFM)。
02 研究方法
此研究使用了采集自中山大学肿瘤防治中心核医学科PET/MR的67例头颈18F-FDG PET/MR图像和40例前列腺68Ga-PSMA PET/MR图像，并通过25%、10%、5%和2.5%的PET采集时间获得低计数PET数据。研究者将已发表的KSVD、Red-CNN、 U-Net、 TransUNet、 LA-GANs等网络作为对比方法，计算了各方法的低计数PET图像的信噪比峰值（PSNR）、结构相似指数（SSIM）和相较于全计数图像的根均方误差（RMSE），用来比较不同网络的降噪性能。
03 研究成果
图2展示了全计数PET图像、MR图像、不同降噪算法的低计数PET图像和其相较于全计数图像的误差。表1展示了不同降噪算法在低计数PET降噪中的PSNR、SSIM和RMSE对比。图像和数值比较均显示作者提出的OIF网络显著降低了低计数PET图像的噪声水平，在不同计数水平和评价方法中均展现出OIF网络降噪效果的优越性。
图2. 各降噪算法在不同计数水平PET数据中重建效果的图像对比。第1、3、5、7行分别显示各种降噪算法对2.5%、5%、 10%和25% PET计数数据的降噪效果，第2、4、6、8行显示各算法相较于全计数PET图像的误差分布，颜色亮度代表误差程度。
表1. 各降噪算法在不同计数水平PET数据中重建效果的量化对比（红色代表最佳表现，蓝色代表次佳表现）
此外，该研究使用一组完全独立的前列腺68Ga-PSMA PET/MR数据来测试算法对未知数据的降噪效果。如图3所示，本研究提出的OIF网络能更好地重现PET图像的边缘和纹理信息。在表2的量化对比中，受限于较大的解剖结构和核素差异，OIF网络的量化降噪指标受到了一定的限制。
图3. 各降噪算法对独立PET/MR数据的降噪图像对比。第2行和第4行为各算法相较于全计数PET图像的误差分布，颜色与误差的对应关系同图2。
表2. 不同降噪算法对独立PET/MR数据的降噪量化对比
04 研究展望
综上所述，该研究所提出的基于光流配准和跨模态交互融合网络能显著降低低计数脑部PET图像中的噪声水平。通过结合OIF模块的配准功能、SC-FEM模块的空间和通道增强功能以及CM-FFM模块的多模态信息融合功能，该网络在不同计数水平的PET图像中均展现出优越的降噪表现，为多模态图像的配准与信息融合提出了创新性方法。
[1] Minghan Fu, Na Zhang, Zhenxing Huang, Chao Zhou, Xu Zhang, Jianmin Yuan, Qiang He, Yongfeng Yang, Hairong Zheng, Dong Liang, Fangxiang Wu, Wei Fan, Zhanli Hu. OIF-Net: An Optical Flow Registration-Based PET/MR Cross-Modal Interactive Fusion Network for Low-Count Brain PET Image Denoising. IEEE TRANSACTIONS ON MEDICAL IMAGING (2023).
