肖宁, 赵俊, 贾保平, 强彦, 赵涓涓, 吕亚丽
引用本文: 肖宁, 赵俊, 贾保平, 强彦, 赵涓涓, 吕亚丽. 基于循环双向Transformer的伪CT影像生成方法[J/OL]. 计算机辅助设计与图形学学报,1-11[2024-09-12]. https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2023-00736
Citation: Xiao Ning, Zhao Jun, Jia Baoping, Qiang Yan, Zhao Juanjuan, Lyu Yali. Synthetic Computed Tomography Generation via Cycle Bi-directional Transformer[J/OL]. Journal of Computer-Aided Design & Computer Graphics, 1-11[2024-09-12]. https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2023-00736
磁共振成像引导的放射治疗可以根据肿瘤和对器官的威胁情况实时调整治疗计划, 依靠使用磁共振成像生成伪计算机断层扫描进行放射治疗. 目前, 伪层析成像的生成技术基于对抗性网络的生成方法, 但这种方法在训练过程中使用像素级损失更新网络参数, 很容易导致模式崩溃, 生成不稳定的伪计算机断层扫描. 为了精准地实现基于磁共振影像的伪计算机断层扫描生成, 利用视觉Transformer的上下文敏感性以及卷积算子的归纳偏置, 提出一种循环双向Transformer医学影像合成方法. 在编码预测阶段, 循环双向Transformer利用U-Net编码得到的码本表示图像, 并使用非自回归编码与向量量化方式缩短生成码本的长度, 生成局部真实并且全局一致的图像; 使用归一化互信息作为损失函数, 并加入了循环一致性损失解决数据不匹配的问题. 在颅脑磁共振成像数据集TCGA-GBM与CPTAC-GBM上进行一系列实验, 验证了所提方法在影像生成任务上的有效性.
相关工作
○ 跨模态医学影像生成
模态医学影像生成指在给定受试者源域中影像的情况下, 准确地估计同一受试者目标域模态影像的问题, 可以作为多模态医学影像数据分析的来源, 大大降低采集不同模态图像耗费的时间和财力, 同时提高诊断的准确性, 如图1所示.
在临床中, 由于多模态医学影像数据十分稀缺, 因此跨模态医学影像生成就成为研究重点. 虽然已有不少针对医学影像跨模态的研究, 但是如何提高跨模态映射的精准性, 有效地提取多模态影像的基本特征, 减少跨模态合成影像的结构损失等, 仍然是该领域内亟待解决的问题.
○ Transformer模型
Transformer模型是用于处理序列数据的深度学习模型, 使用注意力机制捕捉输入序列中的全局依赖关系, 而不依赖于固定的滑动窗口或者固定长度的历史信息. Transformer模型的每层都由一个注意力机制组成, 该机制是在不同的位置上的完全连接网络, 该网络可以独立地应用于所有位置. Transformer模型的结构如图2所示.
在临床中, 由于多模态医学影像数据十分稀缺, 因此跨模态医学影像生成就成为研究重点. 虽然已有不少针对医学影像跨模态的研究, 但是如何提高跨模态映射的精准性, 有效地提取多模态影像的基本特征, 减少跨模态合成影像的结构损失等, 仍然是该领域内亟待解决的问题.
CycleBiTrans
实验与结果分析
叙事结构抽象方法是叙事可视化的重要组成部分, 通过对叙事结构进行抽象和表示, 可以更好地理解和呈现叙事内容. 本文将叙事结构的抽象方法分为连续性表示、单元式表示和离散化表示3类.
结 语
MRI引导放射治疗可以根据肿瘤与器官的威胁情况实时调整治疗计划, 为了实现依靠MRI生成伪CT进行放射治疗, 本文提出一种基于CycleBiTrans的方法实现MRI影像到伪CT影像的合成, 该方法还可以实现CT影像到MRI影像的转化. CycleBiTrans方法利用基于U-Net的编解码器得到码本, 之后将码本输入到双向Transformer中进行转化, 并在损失函数中引入循环一致性保持伪CT影像生成的质量. 从定量结果比较、定性结果分析、消融实验等诸多方面进行实验的结果表明, CycleBiTrans能够可靠地从颅脑MRI影像生成对应的伪CT影像, 可以较好地应用于临床放射治疗的计划中.
肖 宁(1994—), 男, 博士, 讲师, 主要研究方向为机器学习、医学图像处理.
赵 俊(1996—), 女, 博士研究生, 主要研究方向为深度学习、图像处理.
贾保平(1979—), 女, 博士研究生, 副主任医师, 主要研究方向为高血压、冠心病、心力衰竭.
强 彦(1969—), 男, 博士, 教授, 博士生导师, 主要研究方向为机器学习、云计算、图像大数据、人工智能.
赵涓涓(1975—), 女, 博士, 教授, 博士生导师, 主要研究方向为模式识别、情感计算、图像处理.
吕亚丽(1975—), 女, 博士, 教授, 硕士生导师, 主要研究方向为数据挖掘与机器学习、因果学习.
— END —
还没关注？点击下方“卡片”关注，获取第一时间资讯
综述推荐 | 监控场景下基于单帧与视频数据的行人属性识别方法综述及展望
开源代码 | 基于EfficientNetV2的PCB缺陷检测算法
本公众号发布的所有原创文章欢迎转发和转载，但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号；任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外，本公众号发布的图文旨在学术交流，版权归原作者所有，本公众号将不承担任何法律责任；非原创内容均已对来源作出标注，如有侵权，请留言与本公众号联系，我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。
