光声断层成像(PAT)是一种非侵入性多模态生物医学成像技术,结合了光学成像的高对比度和声学成像的高分辨率特性,能够实现深层组织的高分辨结构和功能成像。然而,在实际操作中,由于超声换能器的带宽和数量限制,获取完整的光声信号变得具有挑战性。在极稀疏采样下,使用传统重建方法会导致图像失真、模糊和分辨率下降。因此,如何在极稀疏采样下实现光声断层成像的高质量重建是值得研究的问题。南昌大学成像与视觉表示实验室研究团队提出了一种基于无监督解纠缠的极稀疏视角光声断层成像伪影去除策略,实现极稀疏视角下的高质量重建,有效解决图像伪影问题。该成果以“Unsupervised disentanglement strategy for mitigating artifact in photoacoustic tomography under extremely sparse view”为题发表于光声领域顶级期刊Photoacoustics。
研究团队提出了一种新型的图像到图像转换方法,命名为PAT-ADN。该方法基于无监督学习的伪影解纠缠网络(ADN),配备了专门的编码器和解码器,分别负责对未配对图像中的伪影和内容成分进行编码和解码。
PAT-ADN去伪影的核心思想在于将对抗训练与编码器-解码器网络相结合,以学习图像内容的数据分布和伪影的潜在表示,从而改善内容和伪影组件之间的解纠缠效果。
图1. PAT-ADN伪影解纠缠流程图。
在训练阶段,伪影图像和无伪影图像作为输入,且两者是非配对的图像。伪影图像通过编码器分离出内容成分,并通过解码器重建成无伪影图像。在训练过程中,每次 ADN 网络训练后,编码器和解码器都会应用两次。这增强了编码器分离伪影图像内容成分的能力和解码器恢复图像的能力。在测试阶段,经过训练的编码器和解码器处理后的伪影图像将生成无伪影图像。图2. PAT-ADN的体系结构。
研究团队进行了仿体和活体数据实验,以评估所提方法的性能。对于圆形仿体数据,该方法在极度稀疏视角下(例如8个投影)表现出色。所提方法的结构相似性指数(SSIM)和峰值信噪比(PSNR)分别为0.9442和28.70 dB,相比之下,与U-Net方法相比,分别提高了0.1827和4.25 dB。对于活体实验数据,该方法在16个投影下展示了比U-Net方法更为先进的性能。该方法的SSIM和PSNR值分别达到了0.7154和27.22 dB,相比之下,分别提高了0.3007和12.9 dB。下图比较了U-Net、CycleGAN和PAT-ADN在不同投影视角下圆形仿体的伪影去除能力。使用UBP方法重建的PAT图像存在大量伪影。U-Net方法虽然能消除部分伪影,但当投影视角进一步稀疏时,重建结果仍然存在一些残余伪影。而CycleGAN方法重建的图像伪影较少,却存在轻微的失真。PAT-ADN在不同投影视角下去除伪影表现出优异的性能。值得注意的是,即使在极度稀疏的测量条件下(8和16个投影视角),该方法也能大幅去除伪影,从而验证了PAT-ADN在稀疏投影视角下去除圆形仿体伪影的显著优势。图3. 不同投影下U-Net、CycleGAN和PAT-ADN在圆形仿体中去伪影能力的比较。
PAT-ADN方法在体内数据中的伪影去除性能进一步得到验证。从使用UBP和U-Net方法重建的小鼠腹部图像可以明显看出,重建图像存在严重的伪影,图像细节难以辨认。而PAT-ADN方法在不同投影条件下显示出了良好的伪影去除效果。即使在极度稀疏的测量条件下(8和16个投影),该方法也能有效地去除伪影。局部放大图也进一步显示PAT-ADN方法在恢复边缘细节方面优于U-Net方法和UBP方法,验证了所提方法在体内数据伪影去除方面的可行性。
图4. 不同投影下U-Net 和 PAT-ADN 在活体数据中去伪影能力的比较。
该研究提出了一种基于无监督解纠缠的极稀疏视角下光声断层成像伪影去除策略。通过对编码器和解码器进行训练,实现了在相对较短的时间内高质量的伪影去除。由于网络训练并不专注于特定的伪影结构,它将图像中的不规则数据分布视为伪影并将其与其他内容组件分离。此外,PAT-ADN网络也可以将无伪影的图像转换为带有伪影的图像。这为数据集的创建提供了一种新的方法,从而降低了获取大量训练数据的难度。
南昌大学硕士生钟文华,本科生李天乐、侯尚坤和张宏宇为共同一作者,宋贤林副教授为通讯作者。该研究得到国家自然科学基金委、江西省重点研发项目的资助。Zhong W, Li T, Hou S, et al. Unsupervised disentanglement strategy for mitigating artifact in photoacoustic tomography under extremely sparse view[J]. Photoacoustics, 2024: 100613. 论文链接:
https://doi.org/10.1016/j.pacs.2024.100613
刘且根 国家优秀青年基金获得者,南昌大学教授/博导。为IEEE和CCF等数十个国际国内学术组织的专委会委员,获江西省自然科学奖、吴文俊人工智能等奖项5项。宋贤林 南昌大学副教授,硕士生导师,南昌大学成像与视觉表示实验室副主任。于2019年获得华中科技大学光学工程博士学位,研究方向包括智能光电成像、生物医学光学成像和光声成像。钟文华 南昌大学硕士研究生,研究方向为光声断层成像和图像处理。李天乐 南昌大学本科生,研究方向包括光声断层成像、深度学习和数字图像处理。侯尚坤 南昌大学本科生,研究方向包括图像处理、人工智能和光声断层成像。
张宏宇 南昌大学本科生,研究方向包括光声断层成像、深度学习和医学图像处理。南昌大学成像与视觉表示实验室立足于国家战略需求和江西省地方经济发展,紧紧围绕“传感成像-信号处理-增强显示”等过程中的关键技术和工程瓶颈,以成像和视觉表示为基础核心开展系统的研究。近年来,实验室在人才培养和社会服务取得了丰硕成果,先后获得“互联网+”大赛金奖、“中国研究生电子设计竞赛全国总决赛”一等奖等,且于2022年先后获中国体视学学会青年科学技术奖。
声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间后台联系,我们将协调进行处理(按照法规支付稿费或立即删除),所有来稿文责自负,专委会仅作为分享平台。转载请注明出处,如原创内容转载需授权,请联系邮箱:cita@csoe.org.cn