开源代码 | 语义扩散对齐的多尺度感知医学图像分割方法

学术   科技   2024-07-19 17:09   北京  

点击文末 “阅读原文” 下载全文

赖晓婷, 张静

华东理工大学信息科学与工程学院

引用本文: 赖晓婷, 张静. 语义扩散对齐的多尺度感知医学图像分割方法[J/OL]. 计算机辅助设计与图形学学报,1-11[2024-07-18]. https://www.jcad.cn/cn/article/doi/10.3724/SP.J.1089.2023-00604

Citation: Lai Xiaoting, Zhang Jing. Semantic Diffusion Alignment-based Multi-scale Perception for Medical Image Segmentation[J/OL]. Journal of Computer-Aided Design & Computer Graphics, 1-11[2024-07-18]. https://www.jcad.cn/cn/article/doi/10.3724/SP.J.1089.2023-00604


本文代码已开源:https://github.com/MiniCoCo-be/MSPSN

医学图像分割是医学图像分析领域中的一项重要任务, 旨在从医学图像中识别和分割出感兴趣区域, 如器官、组织结构和病变区域等. 有效的多尺度特征表示对于准确地分割医学图像中大小不一的病变区域具有重要意义. 针对现有方法未能充分挖掘不同目标的多尺度信息导致难以实现精确分割的问题, 提出一种语义扩散对齐的多尺度感知医学图像分割方法. 首先从局部和全局2个角度探索多尺度上下文信息的感知能力, 构建多尺度编码器和解码器. 其中, 多尺度编码器利用局部多尺度自注意力机制和全局重调整来提取多尺度特征, 以捕获图像中不同目标的信息, 多尺度解码器则通过上采样恢复空间分辨率并保留细节信息, 得到更准确的分割结果; 为了进一步增强特征语义表示, 提出语义扩散对齐模块, 实现了低级特征与高级特征的语义对齐, 获得更具鉴别性的融合特征.


本文方法

1.  整体框架
本文提出一种语义扩散对齐的多尺度感知医学图像分割方法. 该方法是一种对称的U型编码器解码器网络结构, 其整体框架如图1所示.

图1  语义扩散对齐的多尺度感知医学图像分割方法


2.  LGMSPM学习
多尺度特征学习有利于提高密集预测任务的性能. 受到PSPNet中空间金字塔池化的启发, 本文将空间金字塔池化应用于自注意机制的键和值, 以感知多尺度的信息. 结合局部特征学习的优点, 本文提出LGMSPM, 由局部特征学习模块、多尺度感知模块和全局重调整模块组成, 其结构如图2所示. 基于此, 本文构建多尺度编码器和多尺度解码器作为网络的主干结构, 以获取适应多尺度的特征表示.

图2  LGMSPM

3.  SDAM
虽然LGMSPM能够有效地学习多尺度信息, 但不同层级间的语义差距依然存在, 使分割性能受到一定限制. 受到去噪扩散模型的启发, 本文方法引入SDAM, 以实现低级语义特征向高级语义特征的扩散传播和特征对齐. SDAM结构如图3所示.

图3  SDAM

实验及结果分析

1.  实验数据
本文在2个公开的医学图像数据集进行实验, 包括腹部CT多器官Synapse数据集和心脏核磁共振图像ACDC数据集. 评估指标采用95%Hausdorff距离(HD95)和Dice相似系数(DSC).

2.  消融实验

为了验证本文方法中所提出的LGMSPM, SDAM, DS策略和AF这4个要素对模型性能的影响, 在Synapse数据集上进行消融实验, 以ResNet-50残差块构建的U-Net 模型作为Baseline, 并采用DSC和HD95作为评价指标. 消融实验结果如表1所示.


3.  对比实验
为了验证本文方法的有效性, 将其与一些主流分割方法进行实验对比, 包括TransUNet, Att-UNet, Swin-Unet, UNETR, ST-Unet, HiFormer等.

(1) 在Synapse数据集上进行多器官分割实验, 结果如表2所示.

(2) 为了更清晰地展示实验结果, 还绘制了箱线图, 图4所示为11种方法在Synapse数据集上的分割结果.
图4  11种方法在Synapse数据集上的分割结果

(3) 在ACDC数据集上评估本文方法, 实验结果如表3所示.

为了更直观地展示各个器官的分割情况, 还绘制了在ACDC数据集上的箱线图, 如图5所示.

图5  8种方法在ACDC数据集上的分割结果

4.  方法复杂度分析
为了深入分析本文方法的性能, 将其与一些主流方法的参数量和浮点运算数进行实验, 结果如表4所示.

5.  可视化分析
为了进一步验证本文方法的有效性, 在2个数据集上进行分割结果可视化比较. 图6所示为7种方法在Synapse数据集上的一些样例结果, 通过在图中使用红色框突出显示, 凸显了本文方法在某些区域的分割性能优于其他方法.
图6  7种方法在Synapse数据集上的可视化结果

如图7所示为7种方法在ACDC数据集上的分割结果可视化.

图7  7种方法在ACDC数据集上的可视化

通过这些可视化示例可以看出, 本文方法在不同数据集上都展现出优越的分割性能, 并且与其他方法相比, 在特定情况下能够实现更准确的分割结果, 证明了该方法的有效性和适用性.


结  语

本文提出一种语义扩散对齐的多尺度感知医学图像分割方法, 旨在增强医学图像分割的准确性. 该方法在编码器和解码器的各个阶段引入LGMSPM, 不仅学习局部多尺度细节信息, 还从全局角度进一步增强多尺度特征; 还引入了SDAM, 通过利用语义扩散思想, 根据特征之间的空间关系分析相似性得到扩散关系, 实现特征对齐. 在不同模态的数据集上进行大量实验的结果表明, 本文方法展现出良好的性能和泛化能力: 在Synapse数据集上, 平均DSC达到82.42%, 平均HD95为17.81%; 在ACDC数据集上, 平均DSC为92.25%, 优于当前大多数方法. 这些实验结果充分证明了本文方法的优越性. 但是, 本文方法仍然存在一些不足之处: 在计算复杂度方面相对较高, 需要较长的训练时间和较高的计算资源; 在边缘分割方面还不够准确. 未来将致力于研究轻量化的医学图像分割模型及边缘增强算法, 探索更广泛的数据集和应用场景.




赖晓婷(1998—), 女, 硕士研究生, 主要研究方向为医学图像处理、计算机视觉.

张   静(1978—), 女, 博士, 副教授, 硕士生导师, CCF会员, 论文通信作者, 主要研究方向为医学图像处理、视觉问答、图像描述、小样本学习. 



— END —

还没关注?点击下方“卡片”关注,获取第一时间资讯

综述推荐      


综述推荐 | 开放环境下的跨域物体检测综述

综述推荐 | 基于叙事结构抽象的可视分析方法综述

综述推荐 | 监控场景下基于单帧与视频数据的行人属性识别方法综述及展望

综述推荐 | 面向超级计算机系统的可视化综述

综述推荐 | 数字图像多功能水印综述

综述推荐 | 基于RGB图像的三维人手姿态估计技术综述

综述推荐 | 数字图像多功能水印综述

综述推荐 | 基于条件生成对抗网络的图像翻译综述

综述推荐 | 基于单目RGB数据的三维模板物体跟踪算法综述

综述推荐 | 基于可视分析的训练数据质量提升综述

综述推荐|数字说话人视频生成综述

综述推荐 | 基于骨架的人体动作识别技术研究进展

综述推荐 | 面向计算机程序的可视化综述


合辑荐读      


合辑荐读 | 计算机技术与传统文化论文合辑

合辑荐读 | 几何建模与优化最新论文合辑

合辑荐读 | 目标检测、目标跟踪与重识别最新论文合辑

合辑荐读 | 医学图像处理最新论文合辑

合辑荐读 | 感知与交互最新论文合辑

合辑荐读 | VR/AR/MR最新论文合辑

合辑荐读 | 三维图形计算最新论文合辑

合辑荐读 | 可视化与可视分析最新论文合辑

合辑荐读 | 《计算机辅助设计与图形学学报》最新综述论文


开源代码      


开源代码 | 基于EfficientNetV2的PCB缺陷检测算法


整期论文速览


2024年第4期论文速览

2024年第3期论文速览

2024年第2期论文速览

2024年第1期论文速览

2023年第12期-CAD几何引擎架构及算法专刊论文速览

2023年第11期论文速览

2023年第10期论文速览

2023年第9期论文速览

2023年第8期论文速览

2023年第7期论文速览

2023年第6期论文速览

2023年第5期论文速览



声明

本公众号发布的所有原创文章欢迎转发和转载,但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号;任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外,本公众号发布的图文旨在学术交流,版权归原作者所有,本公众号将不承担任何法律责任;非原创内容均已对来源作出标注,如有侵权,请留言与本公众号联系,我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。




计算机辅助设计与图形学学报
《计算机辅助设计与图形学学报》官方平台。本刊创刊于1989年,EI、Scopus、北大核心、CSCD、CSTPCD、CNKI等国内外数据库收录,CCF推荐中文科技期刊A类、计算领域高质量科技期刊T1类。期刊官网:www.jcad.cn。
 最新文章