【视频专栏】一种边界增强的医学图像小样本分割网络

文摘科技 2024-07-26 17:01 北京

点击上方蓝字关注我们

贾熹滨, 郭雄, 王珞, 杨大为, 杨正汉. 一种边界增强的医学图像小样本分割网络. 自动化学报. DOI: 10.16383/j.aas.c220994

摘要

精准的医学图像自动分割是临床影像学诊断和影像三维重建的重要基础.但医学图像数据的目标对象间对比度差异小、受器官运动影响大, 加之标注样本规模小, 因此在小样本下建立高性能的医学分割模型仍是目前的难点问题. 针对主流原型学习小样本分割网络对医学图像边界分割性能差的问题, 提出一种迭代边界优化的小样本分割网络(Iterative boundary refinement based few-shot-segmentation network, IBR-FSS-Net). 以双分支原型学习的小样本分割框架为基础引入类别注意力机制和密集比较模块, 对粗分割掩码进行迭代优化, 引导分割模型在多次迭代学习过程中关注边界, 从而提升边界分割精度. 为进一步克服医学图像训练样本少且多样性不足的问题, 使用超像素方法生成伪标签, 扩充训练数据以提升模型泛化性. 在主流的ABD-MR和ABD-CT医学图像分割公共数据集上进行实验, 与现有多种先进的医学图像小样本分割方法进行了广泛的对比分析和消融实验. 结果表明, 该方法有效提升了未见医学类别的分割性能.

引言

医学图像分割可以为临床医生提供疾病诊断所需的解剖结构信息, 它是医学图像分析中的一个重要任务, 在辅助临床诊断与治疗中有着重要的应用价值. 随着卷积神经网络的广泛应用, 有监督的深度学习分割模型已取得了良好的语义分割效果. 然而, 医学图像的分割标注需要由临床经验丰富的医生手工完成, 密集的良好分割标注过程费时耗力. 此外, 与自然图像相比, 医学图像存在的同类对象多样、不同类对象差异性小的特点, 加之, 器官解剖结构与病变的种类数量多, 由此带来了获取大量手工标注的医学数据集需求与标注困难的矛盾, 一方面难以获得多类别的统一分割模型, 另一方面由单一类别数据训练得到的分割模型很难直接应用到其他类别的医学分割目标.

考虑到, 小样本学习[1-4]可以从有限的数据中快速学习新的数据概念, 使用少量标注好的样本来提取类别表征, 利用这些表征来对新的类别样本进行预测, 而不需要重新训练模型, 并且小样本学习方法在自然图像分割任务中已取得了很好的性能[5]. 因此, 有研究开始将小样本学习方法应用在医学图像分割中, 只需要给模型提供少量含有这种未见类别的样本作为支持集, 就可以实现查询集中未见器官类别或者未见病变对象的分割. 医学图像小样本分割仍处于早期发展阶段[6], 如何针对医学图像特点与分割难点, 提出有效的医学图像小样本分割模型仍是亟待研究的问题.

尽管目前方法从不同方面给出了提升医学图像的小样本分割性能的方案, 但由于医学图像对比度低、组织特征变化大、组织或病灶形状复杂等诸多原因, 医学图像存在边缘区域分割不清晰的挑战[7]. 目前已有众多研究通过对边界区域的特征增强, 来提升分割性能. 此类方法最早来自 Yuan 等[8]所提出的类别注意力, 该方法应用于自然图像分割数据集, 它用物体区域特征表示和像素特征表示的相似度, 对每一类别的特征进行显式增强, 提升分割性能. 在内窥镜息肉图像分割中, 不确定性增强的上/下文注意力方法(Uncertainty augmented context attention network, UACA)[9]应用类别注意力机制, 对前景、背景和边界三个区域的特征进行增强, 得到了领先的分割水平. 因此本文特别针对医学图像边缘区域存在的分割难题, 将边界特征增强的方法引入到基于小样本学习的医学图像分割领域, 以提升分割效果.

借鉴细粒度迭代度量学习的小样本分割方法经验[10-12], 针对医学图像分割存在的挑战性问题, 本文提出一种迭代边界优化小样本分割网络 (Iterative boundary refinement based few-shot-segmentation network, IBR-FSS-Net). 网络主要包括特征提取模块、边界优化模块、特征解码模块三部分. 受临床医师由粗到细的分割区域手工标注经验的启发, 即：在数据标注过程中, 临床医生首先粗略地定位目标区域, 然后根据局部特征勾勒出边界轮廓[13]. 本文提出了由粗到细的模型优化训练策略, 首先利用特征提取模块与原型解码模块获得粗糙分割掩码, 然后引入边界优化模块来增强高层特征的边界信息表示, 最后使用基于参数结构的度量模块对增强后的特征进行解码, 获得精准的分割掩码.

本文主要贡献有以下三方面：

1) 提出一种新的医学图像小样本分割网络框架. 通过反复利用边界优化模块与度量网络模块, 来校正预测结果中不一致的区域, 将粗糙的预测掩码细化为准确而完整的分割预测掩码.

2) 提出一个基于注意力机制的边界优化模块, 以显式建模前景区域和边界区域之间的关系, 从而增强边界区域的特征表示.

3) 在医学图像小样本分割中应用有参数的度量网络模块, 将提取到的支持集原型与查询集特征进行点对点密集比较, 使用卷积作为度量工具, 极大地提升了分割性能.

正文框架

1. 相关工作

1.1 小样本自然图像分割

1.2 小样本医学图像分割

1.3 其他小样本分割模型

2. 方法

2.1 问题定义

2.2 网络结构

2.3 边界优化模块

2.4 度量网络

2.5 损失函数

3. 实验及结果分析

3.1 数据集及数据预处理

3.2 性能评价标准及实验细节

3.3 定量的对比分析实验

3.4 消融实验

3.5 模块的选择与组合实验

3.6 与其他少标注样本下医学图像分割方法对比实验

3.7 可视化结果对比分析

3.8 模型架构的讨论与分析

4. 结论

部分文献

[1] Zhang B, Zhang L, Zhang L, Karray F. Retinal vessel extraction by matched filter with first-order derivative of Gaussian. Computers in Biology and Medicine, 2010, 40(4): 438-445 doi: 10.1016/j.compbiomed.2010.02.008

[2] Vinyals O, Blundell C, Lillicrap T, Wierstra D. Matching networks for one shot learning. In: Proceedings of the PMLR on Advances in Neural Information Processing Systems. Barcelona, Spain: PMLR, 2016. 29

[3] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks. In: Proceedings of the PMLR on International Conference on Machine Learning. Sydney, Australia: PMLR, 2017. 1126−1135

[4] Sung F, Yang Y, Zhang L, Tao X, Philip H S T, Timothy M. Learning to compare: Relation network for few-shot learning. In: Proceedings of the IEEE on Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1199−1208

[5] Li G, Jampani V, Sevilla-Lara L, Sun D, Kim Jonghyun, Joongkyu Kim. Adaptive prototype learning and allocation for few-shot segmentation. In: Proceedings of the IEEE on Conference on Computer Vision and Pattern Recognition. Virtual Event: IEEE, 2021. 8334−8343

[6] Yu Q, Dang K, Tajbakhsh N, et al. A location-sensitive local prototype network for few-shot medical image segmentation. In: Proceedings of the IEEE on Image Processing. Anchorage, Alaska, USA: IEEE, 2021. 262−266

[7] 孙君梅, 葛青青, 李秀梅, 赵宝奇. 具有边界增强功能的医学图像分割网络. 电子与信息学报, 2022, 44(5): 1643-1652 doi: 10.11999/JEIT210784Sun Jun-Mei, Ge Qing-Qing, Li Xiu-Mei, Zhao Bao-Qi. A medical image segmentation network with boundary enhancement. Journal of Electronics, 2022, 44(5): 1643-1652. doi: 10.11999/JEIT210784

[8] Yuan Y, Chen X, Wang J. Object-contextual representations for semantic segmentation. In: Proceedings of the European Conference on Computer Vision. Virtual Event: Springer, 2020. 23-28, 173−190

[9] Kim T, Lee H, Kim D. Uacanet: Uncertainty augmented context attention for polyp segmentation. In: Proceedings of the IEEE Conference on ACM International Conference on Multimedia. Chengdu, China: ACM, 2021. 2167−2175

[10] Zhang C, Lin G, Liu F, Rui Y, Chunhua S. Canet: Class-agnostic segmentation networks with iterative refinement and attentive few-shot learning. In: Proceedings of the IEEE Conference on Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 5217−5226

[11] Ouyang C, Biffi C, Chen C, Kart T, Qiu H, Rueckert D. Self-supervision with superpixels: Training few-shot medical image segmentation without annotation. In: Proceedings of the European Conference on Computer Vision. Virtual Event: Springer, 2020. 762−780

[12] Tang H, Liu X, Sun S, Yan X, Xie X. Recurrent mask refinement for few-shot medical image segmentation. In: Proceedings of IEEE on International Conference on Computer Vision: Seoul, South Korea: IEEE, 2021. 3918−3928

作者简介

贾熹滨，北京工业大学信息学部教授. 主要研究方向为视觉信息认知与计算, 智能医学图像分析和诊断, 情感计算. 本文通信作者.

郭雄，北京工业大学信息学部硕士研究生. 主要研究方向为计算机视觉, 医学图像分割, 小样本学习.

王珞，北京工业大学信息学部讲师. 主要研究方向为图像检索, 深度学习, 医学影像处理以及多模态数据融合.

杨大为，首都医科大学附属北京友谊医院副教授. 2020年获得首都医科大学博士学位. 主要研究方向为肝脏疾病影像研究.

杨正汉，首都医科大学附属北京友谊医院教授. 1999年获得北京医科大学博士学位. 主要研究方向为腹部疾病影像诊断, 肝细胞癌及癌前病变的早期影像诊断, MRI新技术的开发与应用.