基于真实世界数据的数字病理全片基础模型

健康   2024-10-16 17:55   中国  

      引言:数字病理学已经成为癌症诊断和研究的核心工具。然而,分析千兆像素级的全幻灯片图像(WSIs)面临着巨大的计算挑战,包括大量的图像切片以及复杂的幻灯片级上下文。现有方法通常依赖于从每张幻灯片中随机采样部分切片,这限制了捕捉完整上下文的能力。微软研究部Hoifung Poon, 华盛顿大学Sheng Wang, Providence Genomics Carlo Bifulco等展示了“Prov-GigaPath”,这是一个利用来自28家癌症中心、3万多名患者的真实世界数据训练的全幻灯片病理基础模型,旨在解决这些问题。通过对超过13亿个WSI图像切片进行预训练,Prov-GigaPath代表了计算病理学的重大进展,在癌症亚型分类和病理组学任务上达到了最先进的表现。









主要发现:

1. 基于大规模真实世界数据的预训练: Prov-GigaPath基于“Prov-Path”这一庞大的数据集进行预训练,该数据集包含了31种主要组织类型的171,189个WSI图像中的13亿多个图像切片。与之前的病理数据集如TCGA相比,这一数据集规模更大,数据多样性更高,从而使模型训练更加稳健和具有广泛的适用性。

2. GigaPath架构与LongNet集成: 研究提出了“GigaPath”,这是一个用于大规模WSI分析的新型视觉转换器架构。GigaPath将LongNet方法应用于处理包含成千上万个图像切片的千兆像素幻灯片,使得模型能够同时捕捉单个切片的局部特征和幻灯片级的全局模式,从而在下游任务上表现出色。

3. 各任务上的最先进表现:Prov-GigaPath在包括癌症亚型分类和突变预测的26项任务上进行了评估,使用了来自Providence和TCGA的数据。它在26项任务中的25项上表现最优,在18项任务上显著优于第二名。例如,在TCGA数据集的EGFR突变预测中,Prov-GigaPath的AUROC提升了23.5%,AUPRC提升了66.4%,显示了其从病理图像中预测基因突变的卓越能力。

4. 病理学的视觉-语言预训练:Prov-GigaPath还通过结合病理报告评估了其在多模态视觉-语言任务中的潜力。模型在零样本亚型分类和突变预测上表现出色,展示了其对齐视觉和文本信息的能力。这一能力为病理学中整合分析打开了大门,可以将图像数据与临床报告结合,以提高诊断准确性。









结论: Prov-GigaPath是计算病理学领域的重大突破,特别是在全幻灯片图像分析方面。通过利用大规模、真实世界的数据集和新型转换器架构,模型在广泛的任务中表现优异。其同时处理WSI中的局部和全局模式的能力使其特别适合癌症诊断、预后以及潜在的治疗决策。此外,视觉-语言预训练的整合展示了模型的多功能性及其在临床环境中的广泛应用前景。









影响: Prov-GigaPath的开发对数字病理学领域具有多方面的重要影响:

• 临床诊断: 模型能够准确预测癌症亚型和基因突变,这将显著提高诊断的准确性和个性化治疗方案的制定。

• 可扩展性与实际应用: 通过基于大规模真实世界数据进行训练,Prov-GigaPath展示了在多样化临床环境中应用的潜力,克服了仅基于小型、精心策划数据集的模型的局限性。

• 未来研究:模型的开放权重特性鼓励进一步的研究和开发,未来通过整合多模态数据(如将病理图像与基因组或临床数据结合)有望开发出更强大的模型。







参考文献

Hanwen Xu et al. A whole-slide foundation model for digital pathology from real-world data. Nature. 2024


智预
“智预”谐音“治愈”,代表我们的愿景。深圳智预生命科技有限公司致力于开发基于定量建模方法的个体化癌症画像流程,提供技术咨询和技术服务。
 最新文章