✦
深度学习辣汤小组文献阅读学习之一百四十八篇
✦
通过眼部图像的深度学习筛选和识别肝胆疾病：一项前瞻性、多中心研究
DeepLearning 深度学习辣汤小组
2023/12/12
2021年，来自中山大学中山眼科中心眼科学国家重点实验室的Xiao, Wei等人通过设计深度学习模型，以建立眼部特征与主要肝胆疾病之间的关联，旨在推进从眼部图像中自动筛查和识别肝胆疾病，并在期刊Lancet Digit Health(IF=30.79,医学一区TOP)上发表题为“Screening and identifying hepatobiliary diseases through deep learning using ocular images: a prospective, multicentre study”的文章。
DOI：
https://doi.org/10.1016/S2589-7500(20)30288-0
一、研究背景
在眼科领域，随着深度学习的不断优化，人工智能的应用已经超越了眼部疾病的研究，并有助于发现一些以前未知的与其他全身性疾病的关联。例如，视网膜眼底图像可用于检测贫血和慢性肾脏疾病，并预测其他系统性生物标志物。
肝脏是人体的代谢中心。异常代谢物、正常代谢物过量、肝脏能量代谢不足的直接毒性作用可导致眼部异常。一些肝胆疾病会表现出特殊的眼部特征，如Wilson病的Kayser-Fleischer环，Niemann-Pick病的樱桃红色黄斑，Alagille综合征的后胚胎瘤或视盘囊肿。因此，眼科检查有助于肝胆疾病筛查。但是通常肝胆疾病导致的眼部异常是非特异性的并且检出率低，限制了它们作为临床独立诊断特征的潜在用途。
基于此，本研究探索利用深度学习从肝胆疾病患者的裂隙灯和眼底图像中提取疾病信号的可能性，开发用于从眼部图像中自动筛查和识别肝胆疾病的模型。
二、数据集
这项前瞻性、多中心的诊断性研究由中山大学(中国广州)中山眼科中心牵头，分两个阶段进行，收集来自三个肝胆科和两个医学检查中心的参与者的数据（临床信息和裂隙灯、视网膜眼底图像）：中山大学第三附属医院肝胆外科(HTH)、传染病科(ITH)，南方医科大学附属花都医院传染病科（HDH），广州市爱康保健南田医疗中心（NMC），爱康保健环世洞医疗中心（HMC）。
第一阶段的数据收集于2018年12月16日至2019年7月31日，涉及HTH，HDH和NMC的参与者(图1)。在考虑到训练和调优数据集的样本量以及肝胆疾病的百分比之间的平衡后，将该开发数据集随机分为独立训练数据集和调优数据集(3:1比例)。第二阶段的数据收集于2019年8月14日至2020年1月31日之间。包括来自ITH和HMC的参与者。该数据集用于评估模型的性能。
三、方法
首先使用单模态图像(没有眼睑区域的裂隙灯图像或眼底图像)作为输入，并训练了三个不同的网络：resnet-101、VGG-16、EfficientNetB0来筛选肝胆疾病（筛选模型:有和没有肝胆疾病）筛选模型:有和没有肝胆疾病。使用调优数据集的ResNet-101优于其他网络。用组合的裂隙灯和眼底图像作为输入，开发了基于resnet-101的多模态模型。然而，由于样本量较小，眼底和裂隙灯图像不完全匹配，多模态模型在筛查肝胆疾病方面没有显示出比单模态模型更强的优势。在实验结果的基础之上，以单模态图像的ResNet-101为输入，建立了6个独立的二值分类模型(识别模型:有无肝癌，有无肝硬化，有无慢性病毒性肝炎，有无非酒精性脂肪肝，有无胆石症，有无肝囊肿)，直接识别所研究的六种肝胆疾病(不需要先通过筛选模型)。然后使用外部数据集对模型进行测试，使用受试者工作特征曲线下面积 (AUROC)、灵敏度、特异性和F1*评分评估模型性能。
实验还使用了两种视觉解释技术，Grad-CAM和Integrated Gradients来生成显著性热图以增强算法的可解释性。同时，做了一个遮挡试验来研究裂隙灯图像中不同区域(不包括眼睑区域)对预测肝胆疾病的贡献。具体来说，使用U-Net对测试数据集图像的结膜和巩膜、虹膜和瞳孔区域进行单独分割和掩码。然后使用ResNet-101训练的裂隙灯模型来生成这些被屏蔽图像的筛选结果。此外，邀请6名不用资历的医生与模型进行对比。
四、结果与结论
筛选模型的AUROC在裂隙灯模型中为0.74，在眼底模型中为0.68(表1)。在识别模型中，肝癌和肝硬化识别模型的诊断结果优于其他较轻的肝胆疾病识别模型，如慢性病毒性肝炎、非酒精性脂肪性肝病、胆石症、肝囊肿等。裂隙灯模型中肝癌的AUROC为0.93，肝硬化的AUROC为0.90。眼底模型中，肝癌的AUROC为0·84，肝硬化的AUROC为0·83 (图2,表2)。在形态比较测试，裂隙灯模型检测以下肝胆疾病有更好的性能检测：肝癌(0·92)、肝硬化(0·89)，和慢性病毒性肝炎(0·77)。而眼底模型在诊断非酒精脂肪肝(0·71)，胆石病(0·71)，和肝囊肿(0·71)上显示出更好的性能。
在视觉解释中，显著性突出了眼底图像中的血管和视盘区域，以及裂隙灯图像中的结膜、巩膜和虹膜区域(图2)。在遮挡测试中，结果表明，从虹膜、结膜和巩膜获得的信息提高了模型的性能，这与热图中突出显示区域给出的预测一致。在人-人工智能对比中，医生对肝胆疾病特征图像的筛选准确率低于筛选模型的表现(裂隙灯图像的准确率为36%~49%，眼底图像的准确率为30%~43%)，所有6名医生都无法仅根据眼部图像识别特定疾病。
总之，研究结果表明，利用基于眼睛裂隙灯或眼底图像的深度学习开发的模型，可以筛选和识别各种肝胆疾病，这为肝胆疾病的筛查和鉴定提供了一种无创、方便、互补的方法，可作为一种机会性筛查工具。
图1：研究流程总览
表1：模型性能
图2：对照组和病例中肝胆疾病热图
Pepper soup transformed by: Yang Na
//
深度学习辣汤AI小组由徐州医科大学以及徐州医科大学附属医院一群热爱人工智能的小伙伴们组成，欢迎大家跟我们交流学习!
扫码关注我们
欢迎加入我们！
成员微信号：cy2011mcu
添加好友时请备注：
您的 单位-科室-姓名-研究方向
