年度优秀论文 | 基于深度学习的口腔颌面部CT图像金属伪影消除与临床验证

本项研究为回顾性研究，研究内容不涉及对患者的治疗，影像学及基线资料的使用获得四川大学华西口腔医院医学伦理委员会审查批准和免知情同意的批准（批准号：WCHSIRB-D-2017-185）。

1.数据采集：本项研究所有CT图像数据来自于2017年1月至2022年6月于四川大学华西口腔医院影像科就诊的患者，脱敏处理后以“.dicom”格式下载并储存至工作站中。无伪影CT数据纳入标准：CT数据中无金属伪影或其他伪影存在。金属伪影CT数据纳入标准：CT数据中存在金属伪影。排除标准：①CT数据中存在其他非金属伪影；②影像数据模糊不清，无法进行肉眼阅片及诊断。共纳入1 000例无伪影CT数据和620例金属伪影CT数据（包含充填体116例、冠类137例、钛板钛钉类134例、托槽类122例和金属异物类111例5种）。无伪影CT数据组年龄为（33.4±12.7）岁，男性562例，女性438例；金属伪影CT数据组年龄为（37.6±8.9）岁，男性324例，女性296例。选择金属伪影CT数据组400例各种金属伪影CT图像数据（每种80例）用于合成仿真数据以训练GAN模型，剩余220例数据（包含充填体36例、冠类57例、钛板钛钉类54例、托槽类42例和金属异物类31例）用于临床验证。图像采集设备为CT（Philips MX16EVO CT，Philips，荷兰），电压120 kV，电流500 mA，扫描矩阵512×512，层厚0.50~2.00 mm。

2.模拟金属和模拟金属及伪影数据集的仿真构建：见 图1 ， 2 。由于患者的伪影CT数据无对应无伪影CT数据，无法进行消除伪影后与对应无伪影CT数据的定量比较，因此本项研究利用无伪影CT数据与金属伪影CT数据，仿真合成出模拟金属图像和模拟金属及伪影图像（ 图1 ）。先将金属伪影CT数据导入Mimics16.0软件（Materialises Interactive Medical Image Control System，比利时）中进行分割，分别创建金属及伪影蒙罩（mask），并导出“.tiff”格式图像（蒙罩叠加覆盖于原始图像表面）。将导出的金属及伪影蒙罩以及对应层数的原始图像一并导入Photoshop软件（Adobe Systems，美国），在对应层数图像位置配准后，利用魔棒工具将原始图像中与金属及伪影蒙罩对应区域的图像分别选定抠出，分别保存为金属图像和伪影图像“.tiff”格式文件。将金属和伪影图像与无伪影的CT图像导入Photoshop软件，调整金属和伪影图像的位置，再将金属图像与无伪影CT图像合并获得模拟金属图像，将金属和伪影图像与同一例无伪影CT图像合并获得模拟金属及伪影图像（ 图2 ），均保存为“.tiff”格式。重复上述操作，将提取的400例金属图像和金属及伪影图像与1 000例无伪影数据进行仿真合成，在保证5种金属伪影CT图像数量相等的情况下，共构建出包含1 000对（每种200对）数据的模拟金属图像和模拟金属及伪影图像数据集。

图1 模拟金属图像和模拟金属及伪影图像数据集构建流程

图2 本项研究使用CT图像构建的模拟金属及伪影图像和模拟金属图像

3.GAN模型的构建及训练：从数据集中随机（计算机随机）选取图像作为训练和测试数据，选取数据的原则是5种金属伪影数量相等，将1 000对数据分为训练集（800对）和测试集（200对），训练集用于GAN模型训练，测试集用于检测GAN模型应用效能。GAN模型包含生成器和判定器两个组件（ 图3 ）。将模拟金属及伪影图像、模拟金属图像（原始图像）以及随机噪声（通过设定随机数种子改变图片部分灰度值，自动生成噪声）输入生成器中，即可学习模拟金属及伪影图像到原始图像的映射关系，生成重建图像。判定器接受重建图像与原始图像的输入，对两者的相似性进行评分，评分结果决定重建图像能否成功输出。GAN模型训练后，使用测试集进行测试，将测试图像以“.tiff”格式输出，存储于工作站中。

图3 CT图像金属伪影消除的生成对抗网络模型基本结构

4.准确性评价：比较测试集数据经过GAN模型消除伪影后的重建图像与其对应的模拟金属图像（原始图像）之间的相似性，即用均方根误差（root-mean-square error，RMSE）和结构相似性（structural similarity index mesaure，SSIM）评价GAN模型的性能 ^{［ 21 , 22 ］} 。RMSE取值范围为0~1，结果越接近0，说明两者像素差异越小。SSIM从亮度、对比度和结构3个维度对比两幅图片的相似性，取值范围为0~1，结果越接近1，说明图像越相似。

5.临床验证：使用训练好的GAN模型，对含金属伪影的220例临床病例颌面部CT数据进行伪影消除，由两名高年资主治医师分别使用改良利克特量表（LiKert scale）对220例临床病例颌面部CT伪影消除效果进行评价，分为差（1分）、较差（2分）、一般（3分）、好（4分）、非常好（5分）共5个等级。

6.统计学方法：使用SPSS 26.0统计学软件，经Shapiro-Wilk检验和Levene方差齐性检验证实数据符合正态分布，以“”形式表达。测量2名评价者改良利克特量表评分的组内相关系数（intra-class correlation coefficient， ICC），并以两者均值作为最终结果。使用单因素方差分析判断测试集RMSE和SSIM以及220例临床CT伪影消除效果的改良利克特量表评分总体差异，两两比较使用LSD检验，检验水准为α=0.05（双侧）。

1.测试集金属伪影消除效果的定量评价：见表1 。测试集5种金属伪影消除效果的RMSE值总体差异无统计学意义（ F=1.29， P>0.05），SSIM值总体差异亦无统计意义（ F=2.22， P>0.05）。钛板钛钉类RMSE值最低，SSIM值最高，伪影消除效果最好，而金属异物类RMSE值最高，SSIM值最低。

2.临床病例颌面部CT的金属伪影消除效果及评分：

（1）金属伪影消除效果：见 图4 ， 5 。经过GAN模型处理后，金属周围的明亮放射状条伪影（充填体、冠类和金属异物类）、黑色条状暗影（钛板钛钉类和托槽类）、环状暗影（冠类和托槽类）和不规则暗影（金属异物类）得到修复，重建了金属周围缺失的灰度值信息（ 图4 ）。1例下颌骨骨折伴金属异物患者的颌面部CT图像金属伪影消除后，可见异物周围的放射状亮伪影及黑色暗影伪影明显修复，医师可精确判断异物的数量、形状和位置；亦可见伪影消除后游离的部分下颌骨骨折碎片，由此精确判断骨块的形状、数量和位置（ 图5 ）。

图4 生成对抗网络模型对临床病例颌面部CT金属伪影的消除效果，黄色箭头示金属伪影的位置

图5 1例下颌骨骨折伴金属异物患者颌面部CT金属伪影消除前后对比，可见异物周围的放射状亮伪影及黑色暗影伪影明显修复（红色箭头）及伪影消除后游离的部分下颌骨骨折碎片（黄色箭头）A：原始图像；B：伪影消除后图像

（2）评分结果：评价者1与评价者2评价结果ICC为0.972，说明评价者间一致性好，评价过程可靠。对于220例临床病例，改良利克特量表的总体得分为（3.73±1.13）分，整体伪影消除效果较满意。充填体、冠类、钛板钛钉类、托槽类和金属异物类的改良利克特量表得分分别为（3.68±1.13）、（3.67±1.16）、（3.97±1.03）、（3.83±1.14）、（3.33±1.12）分，总体差异无统计学意义（ F=1.44， P=0.145）。

近年，有学者将深度学习方法应用于CT影像的金属伪影消除研究，Gjesteby等 ^{［ 23 , 24 ］} 通过使用地面真实数据在平行光下向前几何投影构建出投影正弦图数据，并将投影数据与初始未校正图像一并导入CNN模型进行训练，以消除关键区域的金属伪影，提升了图像质量。Zhang和Yu ^［ 25 ］ 开发的基于CNN的开放式金属去伪影方法，需将传统金属去伪影方法得到的校正图像与原始图像信息输入网络模型进行训练，输入数据不同，得到的效果也参差不齐。CNN学习多需要投影数据或传统金属去伪影方法消除伪影后的数据，数据源较复杂，且对不同类型金属伪影的研究还较少。GAN作为一种新兴的深度学习算法，其基本思想主要源于二人对抗，GAN由生成器和判定器构成，生成器作为对手与判定器互相对抗完成学习 ^{［ 14 ， 20 ］} 。GAN被提出以来引起深度学习领域研究者的广泛关注，但目前少见有研究者利用GAN进行CT金属伪影消除研究。与传统金属伪影消除和CNN方法相比，本项研究构建的金属伪影消除GAN模型，可直接学习CT图像数据，无须获取投影正弦图数据，无须大量人力进行设计和参数优化，也无须监督。因此，对于口腔颌面部CT图像的金属伪影消除，GAN模型是一种可优先考虑的新方法。由于生成器和判定器对抗的需要，GAN模型需要伪影图像与原始图像（含有金属但无伪影的图像）进行对抗学习。针对原始图像缺乏的问题，本项研究使用无伪影CT图像数据和金属伪影CT图像数据进行仿真合成，创建出模拟金属及伪影图像和模拟金属图像标注数据集，并已上传至课题组搭建的云平台（ https：//116.63.185.120/huaxicloud/）中存储。随着标注数据量的积累，为今后GAN模型的深度训练以及其他神经网络的训练打下良好的基础。

本项研究利用RMSE和SSIM对结果图像进行评价，以对GAN模型的性能进行定量分析。RMSE值越小、SSIM值越大，GAN模型训练效果越好。其中钛板钛钉类RMSE值最小，SSIM值最大，与之相比，冠类、托槽类和充填体RMSE值偏大，SSIM值偏小，金属异物类RMSE值最大，SSIM值最小。不同类型的金属伪影具有不同的特点，可表现为明亮放射状、环状、条状暗影等单一或混合的多种形式，同种类型的金属伪影也存在不同程度的像素差异，而RMSE对像素差异更敏感。虽然金属异物类伪影RMSE值最高，但其SSIM值与其他组差异无统计学意义，说明SSIM通过亮度、对比度、结构三方面进行评价，较RMSE单从像素差异评价更均衡，因此在图像恢复的评价中应用较广泛。通过对220例临床病例颌面部CT图像进行验证，5种得分均值差异无统计学意义，总体得分为（3.73±1.13）分，说明金属伪影消除GAN模型的整体伪影消除效果较好，可满足临床应用要求。通过仔细分析金属异物类伪影，发现一方面受金属异物材质差异的影响，另一方面由于异物周围的炎症和气腔与周围正常组织的灰度值差异较大，导致重建图像的质量相对较差，由此降低了金属异物类图像的伪影消除效果评分。因此有必要对不同材质的金属异物以及不同程度炎症和气腔干扰的情况进行研究，以进一步提升伪影消除的效果。

金属伪影消除GAN模型处理1层图像需1~2 s，1例患者CT图像中存在金属伪影的层面较少的为10层左右，较多的可能为30层甚至更多，利用GAN模型消除1例患者CT图像数据中的伪影最快仅需10 s，较慢需60 s左右，具有较强的便捷性。该方法可提供更优质的医学图像，便于进行精确的数字化规划设计，并可与三维打印定位导板、外科导航仪和增强现实技术完成对接转化 ^［ 26 ］ ，虽然使用该方法不能直接提高导航速度，但图像质量的提高可降低导航规划的难度，间接提高术中引导的便捷性和精确性。

综上，本项研究通过较大规模的数据集，完成了GAN模型的进一步训练，并成功应用于临床病例颌面部CT图像的金属伪影消除。结果显示，金属伪影消除GAN模型可有效去除金属伪影的干扰，提升图像质量。