2024年11月，于颖彦教授和孙菁主任医师在《Chinese Journal of Cancer Research》【IF7，Q1】杂志发表题名为“Artificial intelligence efficiently predicts gastric lesions, H.pylori infection and lymph node metastasis upon endoscopic images.”——人工智能看胃镜图片可预判良恶性病变、幽门螺杆菌感染及胃周淋巴结转移的研究论文。
瑞金医院普外科/上海消化外科研究所于颖彦教授、消化内科孙菁主任医师为论文的共同通讯作者；瑞金医院普外科/上海消化外科研究所杨蕊馨博士研究生、瑞金医院古北分院张佳琳医师、上海师范大学占丰生硕士研究生为论文的共同第一作者。该研究结合了内外科专家的知识和人工智能技术，展示了多学科合作在医学研究中的重要性和潜力。
doi：10.21147/j.issn.1000-9604.2024.05.03.
中文摘要
Abstract
Objective
Medical images have been increased rapidly in digital medicine era, presenting an opportunity for the intervention of artificial intelligence (AI). In order to explore the value of convolutional neural network (CNN) algorithms in endoscopic images, we developed an AI-assisted comprehensive analysis system for endoscopic images and explored its performance in clinical real scenarios.
Methods
A total of 6,270 white light endoscopic images from 516 cases were used to train 14 different CNN models. The images were divided into training set, validation set and test set according to 7:1:2 for exploring the possibility of discrimination of gastric cancer (GC) and benign lesions (nGC), gastric ulcer (GU) and ulcerated cancer (UCa), early gastric cancer (EGC) and nGC, infection of Hp (Hp) and no infection of Hp (noHp), as well as metastasis and no-metastasis at perigastric lymph nodes.
Results
Among the 14 CNN models, EfficientNetB7 revealed the best performance on two-category of GC and nGC (96.40% accuracy and AUC 0.9959), GU and UCa (90.84% accuracy and AUC 0.8155), EGC and nGC (97.88% accuracy and AUC 0.9943), and Hp and noHp (83.33% accuracy and AUC, 0.9096). Whereas, InceptionV3 model showed better performance on predicting metastasis and no-metastasis of perigastric lymph nodes for EGC (79.44% accuracy and AUC 0.7181). In addition, the integrated analysis of endoscopic images and gross images of gastrectomy specimens was performed on 95 cases by EfficientNetB7 and RFB-SSD object detection model, resulting in 100% of predictive accuracy in EGC.
Conclusions
Taken together, this study integrated image sources from endoscopic examination and gastrectomy of gastric tumors and incorporated the advantages of different CNN models. The AI-assisted diagnostic system will play an important role in the therapeutic decision-making of EGC.
该研究对胃镜图片的分析采用了14个卷积神经网络（CNN）模型，分别训练模型对病变性质、Hp感染和胃周淋巴结转移的预测能力。对手术切除大体标本的图像分析采用了RFB-SSD目标检测模型。AI 图像分析是基于Python的Keras深度学习平台进行。
结果显示，在胃癌与非胃癌的二分类研究中，EfficientNetB7模型的分类效果最好，经5折交叉验证，预测准确率为96.40%，AUC值为0.9959，精确率为97.91%，召回率为95.76%，F1值为0.9682。仅2例发生漏诊，皆为早期胃癌的印戒细胞组织类型。在早期胃癌与非胃癌的二分类研究中，EfficientNetB7模型表现最好，AUC值为0.9943，准确率97.88%，精确率为97.82%，召回率为97.88%，F1值为0.9785。其中对早期胃癌预测的准确率为91.76%，对非胃癌预测的准确率为99.52%。AI通过胃镜图像判别Hp感染状态方面，也是EfficientNetB7模型效果良好，预测准确率达83.33%，AUC值为0.9096，精确率为80.00%，召回率为83.33%，F1值为0.8333 。AI通过胃镜图像预测胃周淋巴结转移方面，以InceptionV3对预测胃癌的胃周淋巴结转移状态效果最好，其预测准确率达66.01%，AUC值为0.7533，精确率为66.91%，召回率为46.04%，F1值为0.5455。
本组有95例胃癌同时采集到胃镜图像及手术后大体标本图像，研究者对两种图源的图像开展了整合分析发现，EfficeintNetB7模型对胃镜图像成功定位病灶93例，预测准确率为97.89%。RFB-SSD目标检测模型在手术切除标本大体图像成功定位病灶79例，预测准确率为83.16%。有两例胃镜图像在EfficeintNetB7模型中未能成功预测到病灶，但利用RFB-SSD目标检测模型在外科切除标本中成功预测到病灶；而用RFB-SSD目标检测模型在外科切除标本中有16例未能定位到病灶，但利用EfficientNetB7模型在胃镜图像中均成功定位到病灶。由此可见，两种AI模型整合分析可起到互补作用，可将胃肿瘤病灶定位准确性提高到100%。
通过对不同的CNN 模型进行训练显示，EfficientNetB7模型在预测胃镜图像的胃癌与非胃癌、早期胃癌与非胃癌以及Hp感染与非Hp感染的二分类任务中表现良好。而InceptionV3模型通过胃镜图像可以成功地预测胃周淋巴结是否出现肿瘤转移。若将来自同一患者的术前胃镜图像及手术切除胃标本的大体图像采用EfficientNetB7模型和RFB-SSD目标检测模型整合分析，可实现优势互补。如果将AI辅助的多图源分析系统应用到临床诊疗常规，必将极大地减轻消化科医师与病理医师的工作负担，有助于早期胃癌的精准诊疗。
作者介绍
于颖彦 主任医师，教授，博士研究生导师，上海交通大学医学院附属瑞金医院普外科/上海消化外科研究所；研究方向：胃癌的基础与临床转化研究，包括AI辅助多图源医学影像诊断、肿瘤诊断标志物、肿瘤泛基因组和类器官药敏等。
孙菁 主任医师，硕士研究生导师，上海交通大学医学院附属瑞金医院消化内科；研究方向：胃肠道内镜图像研究，胃肠激素及黏膜屏障以及炎症性肠病等。
【扫描二维码可下载原文】
Artificial intelligence efficiently predicts gastric lesions, H.pylori infection and lymph node metastasis upon endoscopic images.pdf
