AI技术在临床医疗领域的应用正变得越来越广泛，它正在改变着医疗服务的提供方式、提高诊断的准确性、优化治疗方案，并改善患者的整体就医体验。
在2024年8月26日，一项由北京大学的沈琳教授、董彬教授以及张小田教授共同指导的重要研究在《Signal Transduction and Targeted Therapy》期刊上发表。这篇题为“基于多模态数据预测HER2阳性胃癌患者对HER2靶向治疗或HER2靶向联合免疫治疗的反应”的论文，标志着在胃癌治疗预测领域的一个新里程碑。
该研究通过采用一种创新的综合分析方法，旨在提高对HER2阳性胃癌(GC)患者在接受HER2靶向治疗或HER2靶向与免疫治疗联合方案时的治疗反应的预测准确性。这项工作不仅展示了多模态数据分析在提升治疗评估和个性化医疗方面的重要作用，还突显了研究团队开发的人工智能(AI)模型——MuMo的潜力和临床价值。
标题：Predicting gastric cancer response to anti-HER2 therapy or anti-HER2 combined immunotherapy based on multi-modal data
译名：基于多模态数据预测胃癌对抗HER2疗法或抗HER2联合免疫疗法的反应
期刊：Signal Transduct Target Ther
影响因子：IF=40.8
发表时间：2024年8月26
通讯作者: Xiaotian Zhang、Bin Dong、Lin Shen
对AI技术感兴趣
为肿瘤项目找新突破口
欢迎和我们一起探讨冲刺高分！
扫码获取详细方案及报价
01
研究背景
胃癌（GC）是全球范围内致死率较高的癌症之一，尤其在中国，其发病率和死亡率居高不下。HER2（人表皮生长因子受体2）阳性的胃癌患者，虽然有可能从抗HER2治疗中获益，但治疗效果的异质性极大，这就需要一种新的预测方法来帮助医生制定更有效的治疗方案。
02
研究思路
这项研究的核心在于开发一个名为MuMo（Multi-Modal Model）的深度学习模型，该模型整合了放射学、病理学和临床信息等多模态数据，以预测HER2阳性胃癌患者对单独抗HER2治疗或抗HER2联合免疫治疗的反应。研究涵盖了来自北京大学肿瘤医院等多个中心的429名患者的数据，其中包括310名接受抗HER2治疗的患者和119名接受抗HER2联合免疫治疗的患者。数据收集时间跨度从2007年1月到2023年1月。
03
研究内容
1. Multi-modal dataset和HER2阳性胃癌研究队列特征
研究团队采用了多模态数据收集技术，整合了429名HER2阳性胃癌患者的放射学、病理学和临床信息。通过严格的筛选流程，排除了不符合标准的病例，最终形成了一个高质量的研究队列。这些数据涵盖了从肿瘤位置到分化程度的详细信息，为深入理解肿瘤特性和治疗响应提供了宝贵信息。这一全面的数据集不仅增强了我们对HER2阳性胃癌的认识。
图1、a. 不同组别病理和放射影像数据比例的分布情况。b. 展示了包括患者资料、放射科和病理科临床报告在内的临床信息分布。c. 热图显示了个体层面的临床信息分布，每个单元格代表一个个体的一项临床信息。
2. MuMo在抗HER2队列中的预测性能
MuMo模型利用深度学习技术，通过分析病理切片图像和放射学CT扫描图像的特征，成功预测了抗HER2治疗的响应情况。该模型在抗HER2治疗组中展现了卓越的预测性能，AUC达到了0.821，这一结果不仅证实了MuMo在预测治疗响应方面的潜力，而且为实现个性化医疗提供了强有力的工具。
图2、a-c. MuMo模型通过ROC曲线预测治疗反应，区分非响应者和响应者，应用于抗HER2治疗组的验证和测试集以及抗HER2联合免疫治疗组的验证集 。d-f. KM曲线展示MuMo预测的无进展生存期（PFS），使用Youden指数将患者分为高风险和低风险组，并用对数秩检验确定统计显著性 。g-i. KM曲线展示MuMo预测的总生存期（OS），同样基于验证和测试集，并使用Youden指数进行分组 。j. MuMo在治疗反应预测中的稳定性分析，评估了数据整合模式和临床信息的影响 。
3.MuMo模型的多模态数据分析
MuMo模型通过整合多模态数据，包括影像学、病理学和临床信息，展现了在预测抗HER2治疗及联合免疫治疗反应中的卓越性能，AUC值高达0.914，突出了其在新兴治疗策略中的适应性。此外，MuMo模型在2000次自助法重复实验中显示出了高度的预测稳定性，性能变异性小，证明了其在不同临床环境中提供一致预测结果的能力。消融研究进一步揭示了多模态信息融合在提高预测准确性中的关键作用，其中融合放射学和病理学数据的模型预测性能最佳，AUC达到了0.750，显著优于单独使用任一模态的模型
4.MuMo的临床洞察力和可解释性
MuMo模型的解释性通过区域重要性评分和类激活映射（Grad-CAM）技术得到了验证，这些技术使研究人员能够直观地看到模型关注的关键区域，如HER2（3+）表达区域和病变区域。这种高度的可解释性不仅提高了医生对模型决策的信任度，而且为临床治疗决策提供了更深入的洞见。
图3、a. 病理全切片图像上的重要区域被可视化，其中红色区域表示对治疗反应预测贡献较大，蓝色区域表示影响较小。b. 放射学图像上的注意力图谱使用Grad-CAM算法，红色区域显示MuMo聚焦于淋巴结和肝脏肿瘤。c-g. 不同临床信息子组的预测风险评分在抗HER2队列中被评估。h-l. 抗HER2联合免疫治疗队列中不同临床信息子组的预测风险评分也被评估。
04
文章小结
本研究通过构建一个创新的多模态模型（MuMo），在胃癌治疗领域取得了突破性进展。MuMo模型整合了病理学、放射学和临床信息，准确预测了HER2阳性胃癌患者对抗HER2治疗及抗HER2联合免疫治疗的反应。研究显示，MuMo在预测治疗反应方面具有高准确性和稳定性，能够处理数据缺失的情况，并通过消融研究验证了多模态信息融合的重要性。此外，MuMo的预测结果具有临床可解释性，有助于医生理解模型决策过程。
对AI技术感兴趣
为肿瘤项目找新突破口
欢迎和我们一起探讨冲刺高分！
扫码获取详细方案及报价
往期推荐 ·
注：本文原创表明为原创编译，非声张版权，侵删！
关于集思慧远
集思医学主营业务有：：a.专业的医学方案整体设计，利用生物信息学对数据进行深入挖掘分析，并提供干湿结合实验。b.为医药类客户提供新靶点发现及验证服务，通过ABPP/TPP/DARTS等技术结合蛋白质组学加速小分子药物靶点发现。尤其善于运用2022年诺奖化学奖技术点击化学快速高效发现新靶点。c.临近标记等蛋白互作新方法提供蛋白互作研究。d.小分子高通量修饰改造，高通量细胞/斑马鱼药物筛选。改善现有临床药物结构和功能。
集思的荣誉及成果：2017获国家高新技术企业，2020众创板挂牌，2021获江苏省民营科技企业称号。2024荣膺江苏省“专精特新”中小企业、栖霞高新区TOP20明星企业称号。创始人先后获“创业南京”人才计划二等奖，“中国江苏创新创业大赛”优胜奖，“南京市创新型企业家”称号等。
集思的愿景：打造生命科学行业的航空母舰，为人类生命健康保驾护航，为人类生产生活谋福祉。
