202410论著|特征可视化浅表食管鳞状细胞癌浸润深度预测系统的构建及验证

点击下载全文

食管癌是全球第7大常见癌症，也是癌症相关死亡的第6大常见原因。我国食管癌发病人数超过了全球食管癌发病人数的一半，每年死亡人数超过了10万人，其中绝大多数为食管鳞状细胞癌（esophageal squamous cell carcinoma，ESCC）。浅表食管鳞状细胞癌（superficial esophageal squamous cell carcinoma，SESCC）是指浸润局限于黏膜层和黏膜下层，有或无淋巴结转移的ESCC。SESCC主要包含黏膜癌和黏膜下癌，治疗方式包含内镜治疗和手术治疗。根据指南，内镜切除术适用于浸润深度在上皮层（epithelium，EP）、黏膜固有层（lamina propria mucosa，LPM）、黏膜肌层（muscularis mucosa，MM）以及黏膜下层（submucosa，SM）上1/3（<200 μm，SM1）的SESCC，手术治疗适用于浸润深度达到SM的中1/3（SM2）和下1/3（SM3）的SESCC。因此，术前准确诊断SESCC浸润深度对治疗方案的选择至关重要。

窄带光成像放大内镜（magnifying endoscopy with narrow band imaging，ME‑NBI）检查是一种术前有效预测SESCC浸润深度的方法，使用的分型及方法主要为井上分型、有马分型、日本食管学会（Japan Esophageal Society，JES）分型、背景着色等，但熟练掌握各种内镜分型及方法并在内镜检查过程中准确预测SESCC浸润深度仍十分困难，因为这需要内镜医师具备很强的临床经验。随着人工智能的快速发展，深度学习在医学领域得到广泛应用，但仍存在可解释性差、数据集样本量不足等缺陷。为了突破传统深度学习的局限性，我们构建了一个特征可视化SESCC浸润深度预测系统（简称：特征可视化系统），用于ME‑NBI下预测SESCC浸润深度。

一、数据收集及处理

回顾性收集2016年4月至2021年10月武汉大学人民医院、南京大学医学院附属鼓楼医院、上海市胸科医院、浙江省台州医院收治的SESCC患者的ME‑NBI图像，在剔除化疗和（或）放疗后残留或复发性病变、瘢痕上的病变以及图像质量低的病变后，共收集到2 341张SESCC的ME‑NBI图像（日本Olympus GIF‑H260Z）。以上病例的诊断以切除后病灶的病理结果作为金标准，组织学标本在各中心病理科按照世界卫生组织（World Health Organization，WHO）标准进行评估，病灶按浸润深度分为两类：EP-SM1病灶和SM2-SM3病灶。入组图像进行匿名化处理，并裁剪掉图像中不必要的边框，减少图像中的噪声，以避免图像中的额外信息对模型的构建造成影响。

二、数据集组成及用途

1.数据集1：使用1 077张ME‑NBI图像，其中EP-SM1病灶811张ME‑NBI图像、SM2-SM3病灶266张ME‑NBI图像。用于训练和测试上皮乳头内毛细血管袢（intrapapillary capillary loops，IPCL）、乏血管区（avascular area，AVA）、颜色主成分（principal component of color，PCC）三个特征提取模型。

2.数据集2：使用剩余ME‑NBI图像中的1 069张，其中EP-SM1病灶920张ME‑NBI图像、SM2-SM3病灶149张ME‑NBI图像。主要用于构建特征可视化系统。

3.数据集3：使用剩余的195张ME‑NBI图像，其中EP-SM1病灶146张ME‑NBI图像、SM2-SM3病灶49张ME‑NBI图像。主要用于验证特征可视化系统预测SESCC浸润深度（EP-SM1/SM2-SM3）的诊断效能。

三、模型构建

特征可视化系统由4个模型构成：模型1，用于SESCC病灶ME‑NBI图像中IPCL区域的分割；模型2，用于SESCC病灶ME‑NBI图像中AVA区域的分割；模型3，用于获取SESCC病灶ME‑NBI图像中的PCC；模型4，用于预测SESCC浸润深度（图1）。

注：模型1用于提取ME‑NBI图像的上皮乳头内毛细血管袢（IPCL）特征；模型2用于提取ME‑NBI图像的乏血管区（AVA）特征；模型3用于提取ME‑NBI图像的颜色主成分（PCC）特征；模型4用于预测SESCC浸润深度

图1　窄带光成像放大内镜（ME‑NBI）下特征可视化浅表食管鳞状细胞癌（SESCC）浸润深度预测系统组成

1.模型1：使用基于U‑net++的卷积神经网络进行构建。在构建前，由2名内镜操作超过10年的专家医师使用Adobe Photoshop 19.0对数据集1的ME‑NBI图像中的IPCL进行标记，获得一致性同意的图像用于模型1的构建。将标记好且获得一致性同意的IPCL图像与其原ME‑NBI图像成对输入深度学习模型进行训练，使该模型实现IPCL自动标记。该模型的开发共使用187张ME‑NBI图像，其中152张用于模型训练、35张用于模型测试。输入ME‑NBI图像（图2A）后，可获取其IPCL分割图像（图2B）。

2.模型2：使用基于U‑net++的卷积神经网络进行构建。在构建前，由2名内镜操作超过10年的专家医师使用在线图像注释工具VGG Annotator对数据集1的ME‑NBI图像中的AVA进行标记，获得一致性同意的图像用于模型2的构建。将标记好且获得一致性同意的AVA图像与其原ME‑NBI图像成对输入深度学习模型进行训练，使该模型实现AVA自动标记。该模型的开发共使用了860张ME‑NBI图像，其中753张用于模型训练、107张用于模型测试。输入ME‑NBI图像后，可获取其AVA分割图像（图2C）。

3.模型3：使用K均值聚类算法进行构建。共使用了数据集1中627张ME‑NBI图像。输入ME‑NBI图像后，可获取其PCC图像（图2D）。

4.模型4：在模型构建之前对数据集进行了扩充，具体做法如下：（1）在模型1和2输出结果交并比（Intersection over Union，IoU）变化不大的前提下改变模型阈值，数据集2中的1张ME‑NBI图像可以得到11张IPCL图像和11张AVA图像；（2）将来自于同一张ME‑NBI图像、不同阈值条件下的IPCL图像（11张）和AVA图像（11张）进行组合，然后再与该张ME‑NBI图像的PCC图像进行配对，从而1张ME‑NBI图像可扩充得到121张合成图像；（3）将获得的的所有合成图像按照其原ME‑NBI图像对应的病理深度分成EP-SM1和SM2-SM3两类，根据不同的阈值组合来训练模型，选出效果最佳的前二十种的阈值组合，并以此将数据集2扩充20倍，最终获得21 380张合成图像（图2E），最后使用最终获得的21 380张合成图像构建模型4。。

三、性能比较

1.多种训练模型间比较：为了探索可视化系统相比传统深度学习模型的优势，我们基于Resnet 50构建了传统深度学习模型，使用数据集2的ME‑NBI图像进行训练，使用数据集3的ME‑NBI图像进行验证。同时，为了探索可视化系统相比单项特征模型的优势，我们分别开发了模型5（仅使用IPCL图像构建模型）、模型6（仅使用AVA图像构建模型）和模型7（仅使用PCC图像构建模型），这三个单项特征模型均使用数据集2的ME‑NBI图像进行训练，均使用数据集3的ME‑NBI图像进行验证。

2.人机大赛：我们还邀请了4名内镜操作超过10年的专家医师（专家医师组）和5名内镜操作超过5年的高年资医师（高年资医师组）参与人机大赛，参与模型构建的内镜医师不参与人机大赛。使用数据集3作为验证集，只有标注医师及计算机工程师对验证集的影像学和组织学诊断知情，而9名进行人机大赛的内镜医师不知情。内镜医师被要求独立完成相同的验证图像，每组的诊断性结果取该组所有内镜医师的均值。

3.数据分析：使用SPSS 22统计学软件处理数据。用准确率、灵敏度、特异度来评价模型或内镜医师预测或诊断SESCC浸润深度（EP-SM1/SM2-SM3）的诊断效能，组间比较采用χ²检验，P<0.05为差异有统计学意义。

一、模型间比较结果

1.特征可视化系统与传统深度学习模型的比较结果：特征可视化系统预测SESCC浸润深度的诊断特异度与传统深度学习系统相同（P=1.00），诊断准确率和敏感度均明显高于传统深度学习模型（P<0.01），见表1。

特征可视化系统与单项特征模型的比较结果：特征可视化系统预测SESCC浸润深度的诊断准确率明显高于模型5（单项IPCL特征模型，χ²=3.95，P=0.047）、模型6（单项AVA特征模型，χ²=27.52，P<0.01）和模型7（单项PCC特征模型，χ²=7.70，P<0.01）；特征可视化系统预测SESCC浸润深度的诊断敏感度明显高于模型6（χ²=18.33，P<0.01）和模型7（χ²=5.60，P=0.02），与模型5比较差异无统计学意义（χ²=2.51，P=0.11）；特征可视化系统预测SESCC浸润深度的诊断特异度明显高于模型6（χ²=9.42，P<0.01），与模型5（χ²=1.52，P=0.22）、模型7（χ²=2.11，P=0.15）比较差异均无统计学意义，见表2。

图2　浅表食管鳞状细胞癌窄带光成像放大内镜（ME‑NBI）图像及提取的特征图像2A：ME‑NBI图像；2B：提取的上皮乳头内毛细血管袢（IPCL）特征图像；2C：提取的乏血管区（AVA）特征图像；2D：提取的颜色主成分（PCC）特征图像；2E：IPCL、AVA、PCC特征的合成图像

表1 特征可视化系统与传统深度学习模型预测ME‑NBI下SESCC浸润深度的诊断效能比较

注：ME‑NBI指窄带光成像放大内镜；SESCC指浅表食管鳞状细胞癌

表2特征可视化系统与3种单项特征模型预测ME‑NBI下SESCC浸润深度的诊断效能比较

注：ME‑NBI指窄带光成像放大内镜；SESCC指浅表食管鳞状细胞癌；模型5为单项IPCL特征模型；模型6为单项AVA特征模型；模型7为单项PCC特征模型；与特征可视化系统比较，^aP<0.05

二、人机大赛结果

特征可视化系统预测SESCC浸润深度的诊断准确率明显高于高年资医师组（χ²=20.61，P<0.01）和专家医师组（χ²=9.51，P<0.01）；特征可视化系统预测SESCC浸润深度的诊断敏感度略高于高年资医师组（χ²=1.59，P=0.21）、略低于专家医师组（χ²=0.89，P=0.35）；特征可视化系统预测SESCC浸润深度的诊断特异度明显高于高年资医师组（χ²=44.71，P<0.01）和专家医师组（χ²=43.57，P<0.01），见表3。

表3 特征可视化系统与内镜医师预测ME‑NBI下SESCC浸润深度的诊断效能比较

注：ME‑NBI指窄带光成像放大内镜；SESCC指浅表食管鳞状细胞癌；与特征可视化系统组比较，^aP<0.05

在本研究中，我们开发了一种基于深度学习的食管鳞状细胞癌特征可视化系统，在ME‑NBI下预测SESCC的浸润深度。可视化系统与传统深度学习系统相比，在灵敏度相同的情况下，特异度和准确率都得到了显著提升，能以较高的精度预测SESCC的浸润深度。

虽然近年来食管腺癌患者数量不断增加，但ESCC患者人数仍占食管癌患者的绝大多数。SESCC主要治疗方式有内镜治疗和手术治疗，其治疗方式主要取决于SESCC的浸润深度。早期SESCC远处淋巴转移风险低，宜采取内镜治疗，五年生存率可超过90%。晚期SESCC远处淋巴转移风险高，宜采取手术治疗及放化疗，五年生存率低于20%。与手术治疗相比，内镜治疗SESCC有术后出血少、并发症少等优点，这对改善患者预后至关重要。因此，术前准确诊断SESCC的浸润深度对治疗方式的选择至关重要。

ME‑NBI是一种术前预测SESCC浸润深度的有效检查手段。但是，内镜医师在NBI下诊断SESCC的浸润深度需要很强的经验性，经验不足的内镜医师仅有53%的诊断灵敏度，远低于有经验的内镜医师。内镜医师诊断SESCC浸润深度的灵敏度受其诊断信心的影响，对于同水平的内镜医师，灵敏度的增大意味着特异度的减小，反之亦然。在本研究中，尽管5名高年资医师诊断SESCC浸润深度（EP-SM1/SM2-SM3）的准确率相当（62.05%～69.74%），但5名高年资医师诊断SESCC浸润深度的灵敏度差异较大（62.33%～88.36%），进一步说明尽管具有相当的诊疗水平，在经验和诊疗习惯的影响下，医师的内镜下预测会呈不同程度的保守或激进，因此一项客观、准确的辅助预测系统的开发十分必要。

近年来，人工智能在消化内镜领域取得了快速发展，广泛应用于消化道病灶的检出、识别等。目前已经有一些研究对ME‑NBI下预测SESCC浸润深度进行了初步尝试，但现有的研究数量较少，且存在着一定的不足。Uema等使用卷积神经网络开发了对IPCL进行分类的人工智能系统，且开发的系统对IPCL分类取得了良好的效果。目前认为，IPCL形态与SESCC浸润深度密切相关。但已有研究表明，对于B2型血管，SESCC浸润深度的过度诊断和诊断不足的概率极高，ESCC浸润深度的内镜下诊断准确率还有待进一步提高。虽然对IPCL的类别进行分类对诊断SESCC浸润深度有重要意义，但直接预测SESCC浸润深度才是临床诊断和治疗的最终目标。当前对于直接预测SESCC浸润深度的研究尚处于起步阶段，研究成果较少。

我们的研究有以下几个优点：（1）我们使用了一种新的方法，通过特征提取和特征合成两步，构建了SESCC内镜下特征可视化合成图像。本研究开发的可视化系统利用合成图像中IPCL、AVA和PCC进行综合浸润深度预测，预测性能显著优于单项特征对SESCC浸润深度的预测。（2）传统深度学习模型仅输入与输出过程可视，其“黑盒”问题是临床应用的重大阻碍。而本研究开发的可视化模型旨在揭示SESCC浸润深度预测的原理，将先前研究中提出的IPCL等视觉特征进行可视化，形成直观呈现内镜下诊断依据的合成图像。根据可视化系统呈现的合成图像，我们可以精准掌握病灶的内镜特征，理解系统的预测过程。（3）在临床工作中，对IPCL、AVA等指标的判断，主要依赖于内镜医师的操作和经验，带有很强的主观性，可视化图像将复杂的内镜影像提取为简单的特征影像，有利于IPCL、AVA等特征的大小、直径等定量测量。

在SESCC的ME‑NBI图像中，除了对诊断浸润深度有用的特征外，还有黏液、出血等干扰因素。Horie等的研究中，传统深度学习系统的假阳性分析中阴影等干扰因素就超过了一半。Oura等的研究证明了黏液等噪音影响下医师检出病灶的灵敏度显著降低。Oyama等的研究表明，IPCL、AVA等特征对预测SESCC浸润深度有至关重要的作用。我们的可视化系统可以直接提取对诊断SESCC浸润深度有意义的特征，使医师更好地专注于有效诊断信息。在临床实践中，可视化系统可以避免各种视觉噪声对SESCC浸润深度诊断信息的干扰，简化了复杂的内镜图像，提高诊断效能。我们提出的方法可以解决传统深度学习中黏液、光晕等噪音对系统诊断效能的影响，有助于识别病灶的主要特征，增加可使用图像的数量。这可能是本研究中可视化系统相比于传统深度学习系统的准确率和特异度显著升高的原因之一。

当前观点一致认为，大量的数据可以提高模型的图像分析水平。在特征提取模型中，我们在获取SESCC特征几乎不变的前提下，通过改变特征提取模型的阈值，1张ME‑NBI图像的某一特征可以获取多张图像，再将这些图像合成，就获得了20张合成图像，这样可以大大增加数据量。得到极大扩充的数据集可以改善系统的稳定性和鲁棒性，提高系统对真实世界的适应性和泛化性。这也可能是可视化系统相比于传统深度学习系统诊断效能显著提升的原因之一。

本研究仍然存在一定的局限性。（1）这是一项多中心回顾性研究，使用高质量静态图像进行系统的训练及测试，还需要在视频和临床环境中验证可视化系统的准确性。（2）我们仅使用高质量的ME‑NBI图像进行训练和测试，我们不能确定该系统对低质量的ME‑NBI图像的诊断效能。人工智能系统对低质量图像的稳定性可以通过在模型构建过程中使用低质量图像来实现；然而，使用低质量图像来构建模型可能降低模型的诊断准确率，这需要技术的进一步发展来解决。

综上所述，我们提出了一种新的方法开发了一种基于深度学习的特征可视化SESCC识别系统，这种深度学习模型在预测SESCC浸润深度方面表现出良好的诊断效能，该系统有望为SESCC的临床治疗提供有价值的支持。

关注我们

FOLLOW US

搜索关注头条号

搜索关注微博

搜索关注企业微信