接着上一篇内容,我们继续看看在新辅助治疗后的评估预测,
Development of an Interpretable Deep Learning Model for Pathological Tumor Response Assessment After Neoadjuvant Therapy
新辅助治疗后病理肿瘤反应评估的可解释深度学习模型的开发
发表日期:2024
期刊:Biological Procedures Online
期刊IF:6.3
分区情况:JCR 1区,中科院3区
Abstract
背景:手术后新辅助治疗已成为局部晚期食管鳞状细胞癌(ESCC)的标准治疗方法,准确的病理反应评估是评估治疗效果的关键。然而,它可能是费力的,不同的观察者之间可能会出现不一致。因此,我们的目标是开发一个可解释的深度学习模型,以有效评估ESCC新辅助治疗后的病理反应。
方法:本回顾性研究分析了2020-2021年复旦大学上海肿瘤中心浦东分院(队列1)的337例ESCC切除标本和2021-2022年浦西分院(外部队列2)的114例ESCC切除标本。使用不同的扫描机器生成这两个队列的整个幻灯片图像(wsi),以测试模型处理颜色变化的能力。四名病理学家独立评估病理反应。高级病理学家在wsi上注释肿瘤床和残余肿瘤百分比,以确定共识标签。此外,从队列1 wsi中随机提取1850个图像斑块,并根据肿瘤存活率进行二值分类。采用知识精馏的深度学习模型对每个WSI的阳性斑块进行自动分类,并估计可存活残余肿瘤的百分比。输出空间热图用于模型解释和可视化
结果:该方法与病理学共识的一致性较高,R^2为0.8437,RAcc_0.1为0.7586,RAcc_0.3为0.9885,与2名高级病理学家(R^2为0.9201 /0.9619,RAcc_0.1为8506/0.9425,RAcc_0.3为1.000/1.000)相当,超过2名初级病理学家(R^2为0.5592/0.5474,RAcc_0.1为0.5287/0.5287,RAcc_0.3为0.9080/0.9310)。可视化使残余活肿瘤的定位增强了显微镜下的评估。
结论:这项工作说明了深度学习在协助病理反应评估方面的潜力。空间热图和补丁示例提供了模型预测的直观解释,产生临床信任。
大概看了摘要,这篇文章做了3个工作:1、收集内外部验证集病人病理图像 2、病理学家制定大的WSI标签,并且标注1850个PATCH 3、建立了一个深度学习模型,并且给出热图的解释学习模型。
Introduction
第①段:手术和化疗都有局限性,免疫治疗方案来改善ESCC的预后越来越流行,但是确定免疫治疗与传统新辅助策略的最佳整合是一个迫切的未满足的需求,对改善这种致命疾病的历史不良预后具有深远的意义。
第②段:病理诊断是金标准,但是病理诊断不同观察者意见不一致。
第③段:文章旨在开发和验证一种新的基于深度学习的方法,作为一种可扩展的工具,极大地帮助提高新辅助治疗后的病理反应评估,从而有助于减少工作量和标准化评估结果。
第④段:人工智能技术在WSI发展迅速,人工标注极其耗费人工。
第⑤段:文章为了克服这些障碍,文章开发了一种专门用于肿瘤反应评估的新型深度学习系统。我们的方法不是仅仅依赖于幻灯片级别的弱监督,而是通过半监督的知识蒸馏独特地结合了贴片级别和幻灯片级别的标签。
2 Materials and Methods
预处理:队列1,93名患者337张WSIs,队列2 ,35名患者,
瑞金医院、遵义附属医院、宁波华美医院的多中心研究,介绍了分组训练的情况。
病理专家标记,图像裁剪256*256
训练过程:弱监督学习!一图知天下!
3 Results
结果部分主要强调了在文章设置终点采用pCR和MPR检测病理反应程度。
多次分别比较了病理学家之间和深度学习模型的结果。
4 Discussion
重点看下讨论部分
讨论用了极大地篇幅,我们来看看,到底是如何经行的。
第①段:新辅助治疗后的病理评估是评估术前治疗方法有效性的重要标准之一,但是作为评估的病理手段pCR和MPR,病理学家评估不一致。
第②段:该研究证明了深度学习的潜力,效果比较好,可视化工具效果也很好!
第③段:本篇文章讨论的非常精彩的地方,通过模型发现高级医生和普通医生是因为在散布在间质纤维组织中的肿瘤,未能及时发现导致的能力差异!
第④⑤段:系统的能力超过普通医生接近高级医生,系统应用前景广阔。
第⑥段:局限性:第一还未能超过高级医生的诊断,第二,只是在一种癌症上测试,第三,更多的样变需要被纳入,增加样本的异质性。
第⑦段:总之,这项工作展示了一个可靠的基于深度学习的模型,该模型能够在新辅助治疗后产生病理反应评估,其性能接近经验丰富的病理学家。这一发现表明,人工智能在帮助减轻从业者的工作量和提高诊断一致性方面具有潜力。在进一步验证、改进和自动化肿瘤床分割之后,我们基于深度学习的模型和随附的可视化工具可以作为有价值的补充,通过提高诊断的一致性和准确性来增强病理学家的能力,特别是帮助初级病理学家进行病理反应评估
点评:和上一篇文章十六比较,这篇文章,增加了除了pCR以外的还有MPR的评估方式,也才用更加节约人力成本的半监督学习方法,并且用热图发现了,高级医生和普通医生的诊断差距在哪?其实作为我来思考,既然能通过热图发现不同类型医生之间的差异,面对高级医生结果,本研究稍微差了一点在结果方法,能否同样通过热图找到机器学习和高级专家的差距呢?
END
世界上最遥远的距离是知道到做到!
//
深度学习辣汤AI小组由徐州医科大学以及徐州医科大学附属医院一群热爱人工智能的小伙伴们组成,欢迎大家跟我们交流学习!
扫码关注我们
欢迎加入我们!
成员微信号:cy2011mcu
添加好友时请备注:
您的 单位-科室-姓名-研究方向