202409论著|基于多模态内镜图像的人工智能模型诊断胃肿瘤性病变研究（含视频）

胃癌的全球发病率居第5位，是癌症相关死亡的主要原因之一，在中国胃癌相关死亡率居癌症第2位。然而，早期胃癌症状隐匿，不易察觉，绝大多数患者确诊时，已发展至进展期。进展期胃癌患者的五年生存率仅40%，而早期胃癌患者的五年生存率高达90%。因此，早期诊断和早期治疗对提高胃癌患者的生存率至关重要。目前，内镜检查是筛查胃癌的主要手段，然而白光内镜难以辨别早期胃癌的轻微黏膜改变，容易导致漏诊。近年来随着染色放大内镜技术的发展，内镜下可清晰显示黏膜微血管和微结构，提高了胃癌的早期诊断率，但该操作技术难度大，设备成本高昂。弱放大图像增强内镜例如奥林巴斯系列内镜的近聚焦模式，放大倍数约为45倍，亦可观察黏膜表面微结构，应用广泛，且成本较低，为诊断胃癌等高危病变提供了新的选择。

近年来，人工智能技术广泛应用于医学领域，在辅助诊断消化道肿瘤方面取得了长足发展。然而，以往相关研究多聚焦于白光内镜或染色放大内镜下消化道肿瘤的识别，在弱放大图像增强内镜方面鲜有研究。同时，以往研究多基于单种图像模式数据构建模型，获取的病变特征信息单一，可能导致对病变的识别不完全。本研究通过结合白光内镜和弱放大图像增强内镜特征信息，构建基于多模态数据的人工智能胃肿瘤性病变辅助诊断模型，并与传统的基于单模态数据的模型进行比较，旨在探索一种新方法帮助提高内镜医师对胃肿瘤性病变的诊断水平和检查效率，降低胃肿瘤性病变漏诊率。

回顾性纳入在武汉大学人民医院内镜中心接受上消化道白光内镜及弱放大增强内镜的门诊及住院患者的内镜影像资料。胃肿瘤性病变包括胃癌、上皮内瘤变、胃腺瘤、胃神经内分泌瘤等。本研究纳入的胃肿瘤性病变包含早期胃癌（肿瘤细胞局限于黏膜层及黏膜下层的腺癌）、高级别上皮内瘤变和低级别上皮内瘤变；纳入的胃非肿瘤性病变包括肠上皮化生、萎缩、溃疡、糜烂、慢性炎。影像资料中视野质量差、活动性出血、不清晰、泡沫干扰严重的图像被事先筛除。为保证弱放大模型的适用性，将近聚焦模式及相同放大范围（即放大倍数约为45倍）的放大窄带光成像和放大蓝激光成像的图像数据结合构建成弱放大成像数据集（图1）。将同一病变的所有白光图像分别与所有弱放大图像进行任意组合，形成图像对。由两名具有5年以上内镜经验的内镜医师对图像和视频进行标记和剪辑，病变均有明确的内镜和组织病理学诊断结果，包含内镜活检和（或）内镜手术病理，以病理诊断结果作为金标准。图像拍摄均使用日本奥林巴斯公司260和290系列以及日本富士公司580和590系列内镜。视频均使用录像系统（型号ELUXEO 7000、LASEREO7000、VP‑4450HD，日本富士公司；型号EVIS LUCERA CV‑260/CLV‑260 和EVIS LUCERA ELITE CV‑290/CLV‑290SL，日本奥林巴斯公司）。本研究通过武汉大学人民医院伦理委员会审核批准，伦理审查号：WDRY2019- K073（X03），审查委员会对回顾性数据豁免知情同意。

图1　胃黏膜病变的白光和弱放大典型图像　1A：弱放大成像肿瘤性病变，病理诊断为高级别上皮内瘤变；1B：弱放大成像肿瘤性病变，病理诊断为早期胃癌；1C：弱放大成像非肿瘤性病变，病理诊断为慢性炎；1D：白光内镜肿瘤性病变，病理诊断为低级别上皮内瘤变；1E：白光内镜非肿瘤性病变，病理诊断为慢性炎；1F：白光内镜非肿瘤性病变，病理诊断为萎缩性胃炎

1.数据集1：来自2018年3月至2019年12月463例患者（463个病变）的3 267张图片，其中胃肿瘤性病变143例（早期癌82例、低级别上皮内瘤变61例，包含383张白光图片、602张弱放大图片），非肿瘤性病变320例（肠上皮化生86例、萎缩68例、慢性炎166例，包含924张白光图片、1 358张弱放大图片）。

2.数据集2：来自2020年3月至2021年3月97例患者（102个病变）的696张图片，其中肿瘤性病变32个（早期癌24个、低级别上皮内瘤变8个，包含105张白光图片、179张弱放大图片，共678个图像对），非肿瘤性病变70个（肠上皮化生26个、萎缩21个、慢性炎23个，包含153张白光图片、259张弱放大图片，共611个图像对）。

3.数据集3：来自2022年1月至2022年6月在武汉大学人民医院的80例患者的80个病变视频段，其中包括20例肿瘤（早期癌16例、低级别上皮内瘤变4例）和60例非肿瘤视频（肠上皮化生23例、萎缩15例、慢性炎22例）。病变视频均包含白光和弱放大剪辑片段，白光时长为（10.44±4.67）s，弱放大片段时长（33.29±17.04）s。

（一）模型构建

1.白光识别模型（白光模型）：将数据集1中经过预处理的1 307张白光图片输入到基于keras 2.4.3框架的Resnet50模型中，经过一系列卷积计算后，由池化层转换为包含2 048维特征的特征向量，通过分类器计算特征向量，获得“肿瘤性病变与非肿瘤性病变”的二元分类训练模型。

2.弱放大识别模型（弱放大模型）：使用数据集1中经过预处理的1 960张弱放大成像图片进行训练，训练方法同白光模型。

3.多模态特征融合模型（多模态模型）：双模态神经网络由白光卷积分层、弱放大卷积网络分层、特征融合卷积层和分类器组成。将数据集1中同一病变的任一白光和任一弱放大图片两两组合成图像对输入到双模态网络，白光和放大图像分别进入对应的卷积层，进行特征提取后使用浅层卷积进行特征连接，进行“肿瘤性病变与非肿瘤性病变”的二元分类训练（图2）。

图2　白光模型、弱放大模型、多模态特征融合模型构建示意图

（二）模型验证

1.图像测试：数据集2作为内部测试集用于图像测试，白光模型在白光模式下进行测试，弱放大模型在弱放大模式下进行测试，每张图像对应输出一个分类结果，最终在图像水平和病变水平上输出诊断结果。基于病变水平诊断结果的计算逻辑为：当该病变所有图像中至少有一张图像被判断为肿瘤性病变时，该病变诊断为肿瘤性病变，否则，该病变诊断为非肿瘤性病变。多模态模型基于病变的图像对进行测试，在图像对水平和病变水平上进行结果输出。

2.视频测试：数据集3用于视频测试，视频片段输入到模型后，以7帧/s分解为图像帧，多模态模型存储白光片段的每帧图像，当切换到弱放大模式时，每帧弱放大图像和该病变所有白光图像分别组合成图像对，输出每个图像对的结果，随后根据诊断逻辑输出病变水平结果（视频）。

此外，数据集3还用于3种模型与7名内镜医师识别胃肿瘤性病变的能力比较。7名医师均来自武汉大学人民医院，与参与图像标记的2名医师互相独立。其中3名具有5年以上上消化道内镜检查经验的医师被定义为资深医师，2名具有3~5年经验的定义为中级内镜医师，2名具有1~2年经验的定义为初级内镜医师。内镜医师分别独立完成视频测试，2022年10月第一轮测试中，内镜医师仅观看弱放大片段判断病变是否为肿瘤性，诊断结果与弱放大模型诊断结果进行比较。3周洗脱期后进行第二轮测试，内镜医师观看白光和弱放大片段综合做出判断。测试前及洗脱期内实验相关信息以及所有视频和病变信息均对医师保密。诊断结果与多模态模型结果进行比较。

应用SPSS 26.0软件进行统计学分析，正态分布的计量资料以±s表示，计数资料以例（%）表示。通过计算准确率、灵敏度、特异度、阳性预测值和阴性预测值，评估模型和内镜医师的诊断效能。使用卡方检验比较不同模型之间及模型与内镜医师之间诊断效能的差异，P<0.05为差异有统计学意义。

在数据集2的图像测试中，多模态模型在图像水平的诊断灵敏度、特异度、准确率、阳性预测值和阴性预测值分别为84.96%（576/678）、89.03%（544/611）、86.89%（1 120/1 289）、89.58%（576/643）和84.21%（544/646），见表1。多模态模型的灵敏度（χ²=42.81，P<0.001）、准确率（χ²=10.33，P=0.001）和阴性预测值（χ²=4.77，P=0.029）均高于弱放大模型，差异有统计学意义；而特异度（χ²=2.69，P=0.101）和阳性预测值（χ²=1.75，P=0.185）与弱放大模型相比，差异无统计学意义。多模态模型灵敏度（χ²=13.52，P<0.001）、特异度（χ²=49.32，P<0.001）、准确率（χ²=57.27，P<0.001）、阳性预测值（χ²=76.66，P<0.001）和阴性预测值（χ²=4.58，P=0.032）均高于白光模型，差异有统计学意义。

表1  不同人工智能模型在数据集2图像水平识别胃肿瘤性病变的诊断效能

在数据集2病变水平上，多模态模型的灵敏度、特异度、准确率、阳性预测值和阴性预测值分别为87.50%（28/32）、88.57%（62/70）、88.24%（90/102）、77.78%（28/36）和93.94%（62/66），见表2。多模态模型的特异度（χ²=22.99，P<0.001）、准确率（χ²=19.06，P<0.001）和阳性预测值（χ²=10.36，P=0.001）均高于白光模型，差异有统计学意义。多模态模型的灵敏度（χ²=0.13，P=0.719）、特异度（χ²=3.22，P=0.073）、准确率（χ²=2.93，P=0.087）、阳性预测值（χ²=2.08，P=0.149）和阴性预测值（χ²=0.27，P=0.602）均高于弱放大模型，但差异均无统计学意义。

表2  不同人工智能模型在数据集2病变水平识别胃肿瘤性病变的诊断效能

在数据集3视频测试病变水平上，弱放大模型的特异度和准确率分别为86.67%（52/60）和85.00%（68/80），见表3，高于内镜医师仅观看弱放大视频片段的灵敏度（χ²=18.45，P<0.001）和准确率（χ²=21.65，P<0.001），且与资深内镜医师的结果相当（χ²=0.09，P=0.761；χ²=0.02，P=0.899）。

表3弱放大模型和内镜医师在视频集中基于病变水平识别胃肿瘤性病变的诊断效能（第一轮测试）

多模态模型的灵敏度、特异度和准确率分别为95.00%（19/20）、93.33%（56/60）和93.75%（75/80），见表4，均高于内镜医师依据白光和弱放大视频综合诊断的灵敏度（χ²=18.62，P<0.001）、特异度（χ²=35.07，P<0.001）和准确率（χ²=53.12，P<0.001），且灵敏度高于资深内镜医师（χ²=4.23，P=0.040），差异均有统计学意义。

表4 多模态模型和内镜医师在视频集中基于病变水平识别胃肿瘤性病变的诊断效能（第二轮测试）

本研究中，我们探索了一种基于多模态数据的深度学习方法，同时融合了白光成像和弱放大成像中的病变特征，能够对胃黏膜病变是否为肿瘤进行判断。在图片测试集中，该模型诊断胃肿瘤的灵敏度、特异度、准确率分别为84.96%、89.03%、86.89%。在视频测试集中，该模型的灵敏度和特异度分别为95.00%和93.33%，显著优于7名内镜医师平均水平，且与资深内镜医师表现持平。

胃癌仍然是世界上常见的癌症之一，严重影响患者生命健康及生活质量，胃癌的早发现、早治疗能改善预后，提高患者生存率。消化内镜检查是消化道肿瘤筛查的重要工具，然而，早期肿瘤轻微病变难以识别，以及地区间医疗资源的差异、医师间水平的差异，使得早期胃肿瘤的漏诊率仍然居高不下。近年来内镜技术的高速发展，窄带光成像内镜、放大内镜的出现，突出显示了消化道黏膜微血管和微结构的改变，为内镜医师辨别早期胃肿瘤提供了帮助。但染色放大内镜对设备要求高，且技术难度大，学习周期长，需要内镜医师具有丰富的理论及操作经验，仍然不能广泛用于消化道早期肿瘤的筛查。新近出现的弱放大成像模式既可以实现黏膜细微血管和结构的观察，又能在常规筛查中应用，为诊断胃肿瘤提供了新的机会。

近年来，基于深度学习的人工智能在消化内镜领域掀起了应用热潮，在消化内镜质量控制和病变识别方面取得了可观的进展。人工智能具有可提取人眼无法识别的细微黏膜特征、不受其他因素干扰等多种优势，目前人工智能对早期胃肿瘤的诊断仍是研究的热点。Hirasawa等利用13 584张白光内镜图像训练的人工智能模型，对胃癌的总体诊断灵敏度为92.2%。Wu等进行了一项随机对照试验，验证了人工智能辅助白光内镜检查，可显著降低胃肿瘤的漏诊率。He等开发了一个在放大染色内镜下辅助诊断早期胃癌的系统，并在真实的临床实践中达到了92.59%的灵敏度和83.67%的准确率。

然而，尚未有研究探索过基于弱放大成像模式的人工智能模型。此外，在真实的临床环境中，当白光内镜下发现可疑病变时，设备允许时内镜医师通常会进一步使用弱放大成像或放大染色内镜进一步观察，综合判断病变性质。而以往的研究主要使用白光或放大染色单模态数据构建模型，将病变的诊断过程和逻辑分割成了多个独立的环节，忽略了不同成像模式下的病变特征差异，可能导致对病变的识别不全。最近的一项研究证实，与单独使用白光内镜和放大染色相比，人工智能联合使用白光和放大染色在诊断结直肠癌浸润深度方面具有更好的性能。本研究创新性地探索了基于多模态数据的人工智能模型在诊断胃肿瘤方面的能力，开发并验证了该模型的性能，为人工智能辅助诊断胃肿瘤提供了一个新思路。

本研究结果显示，在相同的图像和视频测试集中，多模态模型的灵敏度、特异度均优于白光模型和弱放大模型，表明较之以往基于单一成像模式数据的训练模型，基于多模态数据的人工智能模型具有更高的优越性和突破性。将同一病变的不同成像模式下的特征进行提取，融合了不同模式下的特征优势，实现病变特征信息的最大化利用，体现了对病变识别的综合性和全面性。另一方面，以往的研究对于模型的训练，多依赖于大量样本的标注，本研究中将同一病变的白光图像和弱放大图像任意两两组合构成图像对作为样本单位，增加了样本的多样性，有效扩充了训练集样本数量，有望实现小样本量基础上开发人工智能模型。此外，单张图像受拍摄角度和光源等影响，往往会丢失部分病变特征，使判断出现误差，且临床实践中，内镜医师往往通过多角度全方位地观察病变综合得出判断，因此本研究验证模型性能时，不局限于在图像层次上测试，还在包含多张图像的病变水平上测试性能，并进一步在视频中对胃黏膜病变进行识别，可实现在临床环境中动态和实时地辅助内镜医师，实现人机交互。

本研究仍然存在一定的局限性。首先，本研究仅回顾性地纳入了武汉大学人民医院的单中心数据，未来还需进一步在多中心数据基础上进行训练和前瞻性验证，减少偏倚风险，增加模型泛化性。其次，尽管在视频数据集上比较了模型和内镜医师的能力，未来仍然需要开展临床试验验证该模型在真实临床环境的有效性和实用性。

总之，本研究构建了一种基于多模态数据的人工智能模型辅助诊断胃肿瘤性病变，在图像和视频测试集中均有较高的准确率，且在视频测试中优于内镜医师平均水平，具有很好的临床应用前景。

关注我们

FOLLOW US

搜索关注头条号

搜索关注微博

搜索关注企业微信