《新英格兰医学杂志》子刊NEJM AI在2024年第12期发表由北京同仁眼科中心王宁利教授和香港中文大学生物医学工程系袁武教授领衔的眼科AI模型VisionFM开发和验证研究论文。
VisionFM是眼科图像基础模型，利用50多万患者的超过340万张图像和自监督学习方法进行训练，并在疾病分类、青光眼预测、全身疾病识别及图像分割等任务中表现出色。其通用性可扩展到新的成像模式和设备，并可对训练期间从未接触过的病变进行准确分级。
北京同仁眼科中心主任王宁利教授和香港中文大学生物医学工程系袁武教授是本文共同通讯作者。香港中文大学生物医学工程系求佳宁博士、魏浩和北京同仁眼科中心吴建博士是本文并列第一作者。
NEJM AI同期配发社论在指出“基础模型有望改变医疗，最终为患者提供更加个性化和公平的医疗服务”的同时，强调采用全球多样化数据集才能真正提高通用性。
我们在此发布社论全文翻译。
用于多模式眼科图像的新基础模型：推进疾病检测和预测
过去十年间，深度学习的快速发展使人们对人工智能（AI）热情日益增长。在医学领域，眼科一直走在应用AI的前沿，美国食品药品管理局最早批准的几个自主AI系统都来自眼科。最近，随着大规模基础模型的出现，AI引发了新一轮热潮。ChatGPT和Stable Diffusion等生成式基础模型的发布也使得AI的卓越能力获得了主流认可。
“基础模型”一词是斯坦福以人为本人工智能研究所（Stanford Institute for Human-Centered Artificial Intelligence）研究人员于2021年提出。它指的是在大量数据集上进行训练，之后针对众多特定任务进行微调的大型AI模型。虽然基础模型与深度学习和迁移学习方法有许多共同之处，但就其巨大规模和广泛潜在用途而言，与传统AI大相径庭。早期AI模型通常是为处理一项特定任务而构建，而基础模型则设计成适用于解决一系列问题的灵活工具。在医学领域，它们的发展得益于两个关键领域的进步。首先，被称为自监督学习的训练方法使研究人员能够利用日常医疗工作中积累的大量无标签数据。其次，被称为“视觉转换器”（vision transformer）的新型模型架构的出现以及计算能力的指数级增长，使模型扩展范围超出了以往可能的限度。RETFound于2023年发布，是眼科领域首个基础模型，并在视网膜疾病诊断、视网膜疾病预测和全身性疾病预测等13项任务中得到验证。
在本期NEJM AI中，Qiu等介绍了VisionFM这一新型眼科图像基础模型的开发和验证工作。研究人员应用来自公共和私人数据集的50多万患者的340万张眼科图像对VisionFM进行训练。训练方法利用了视觉转换器架构，并采用了称为iBOT的自监督学习方法，该方法通过填补图像缺失部分的方式学习表征。随后，作者通过多种任务对VisionFM进行了验证，这些任务包括眼科疾病分类、青光眼进展预测、全身性疾病识别和图像分割。
在视网膜疾病分类方面，作者探索了四个关键领域，并报告了惊人结果，证明了VisionFM的通用性。这些领域包括：使用不同成像模式对八种常见视网膜疾病进行分类时，与竞争对手模型相比的内部验证表现；根据视网膜照片对眼部疾病进行分类时，与初级和中级眼科医师相比的内部验证表现；在各个任务子集上的外部验证表现；以及使用预训练期间未接触过的新成像模式（光学相干断层扫描血管造影）和面对新疾病（眼白化病）时的外部验证表现。
Qiu等还报告了VisionFM在更复杂任务中的良好表现，如基于眼底照片预测青光眼进展和识别全身性健康问题。研究人员针对相关全身性健康状况，对两项任务进行了探索：预测一系列血液生物标志物的结果和识别颅内肿瘤。VisionFM最值得关注的进展可能是在多项图像分割任务中的表现，包括眼底照片的血管分割和光学相干断层扫描的组织层分割。
此项工作推动的基础模型进展可归纳为两个关键领域。首先，Qiu等展示的预训练方法可将多种成像模式灵活整合到单一模型中，并具有与模式无关的微调能力。其次，作者证明，基础模型的多功能表现可以扩展到各种图像分割任务中，而这些任务之前尚未得到充分探索。
尽管取得了上述进展，但必须承认仍存在一些局限性。首先，只有较简单的视网膜疾病分类任务在外部数据集上得到验证，而其余任务只在内部数据集上进行了评估，因此存在与域偏移和过拟合相关的已知缺陷。其次，验证任务采用的数据集往往只纳入经过一致同意的病例，很可能排除了复杂病例，因此与应用于真实世界疾病谱相比，模型的表现被夸大。第三，视网膜疾病分类任务假定每张图像中只有一种突出疾病；然而，由于不同疾病之间的已知关联，图像中很可能包含多种疾病。第四，对VisionFM和临床医师进行比较时，专科医师是在人为创造的条件下做出评估，例如要求他们评估单一图像，无法获得患者的相关病史和检查结果，而临床医师通常是可以获得这些信息的。第五，评估对于未接触过的眼科疾病的通用性时，仅限于对眼部白化病进行分类，而眼部白化病通常有明显的临床表型，可能无法反映更细微状况。最后，虽然VisionFM在识别全身性疾病方面的表现惊人，但要证明其在这些病例中的实际临床用途，仍有大量工作要做。
要充分实现基础模型在眼科领域的潜力，必须探索几个关键途径。关于训练数据的特征如何影响这些模型的下游表现，我们目前的了解仍然有限。基础模型最有前景的方面之一是即使数据有限，它们仍有望通过推进稳健表现来解决公平问题，特别是对于眼部罕见病或少数族群患者。更深入了解训练数据特征是实现这一目标的关键一步。此外，虽然多模式图像整合至关重要，但只有无缝整合多种数据类型（包括文本、音频和基因组信息），才能实现基础模型的真正优势。就像临床医师一样，基础模型应使用统一策略整合这些不同的数据类型。最后，采用全球多样化数据集将提高真正通用性。要实现这一目标，不仅需要强有力的国际合作，还需要创新的技术解决方案，包括探索联邦学习等保护隐私的策略。通过进一步研究，基础模型有望改变医疗，最终为患者提供更加个性化和公平的医疗服务。
单用途、单模式专用模型对新疾病、新模式和临床任务的通用性通常有限或不具备通用性。基础模型是为多用途而设计，即使未针对特定任务进行专门预训练，也可执行该任务，并且适用于不同的临床应用。
方法
本文介绍VisionFM，这是一个应用50多万人的340万张图像进行预训练，涵盖多种眼科疾病、成像模式和设备以及临床场景的眼科人工智能基础模型。VisionFM基于八种模式进行了预训练，并在由53个公共数据集和12个私人数据集组成的眼科数据库上对多种应用进行了测试，包括疾病筛查和检测、预后和预测以及病变和解剖结构图像分割。我们将该模型与在眼科和全身性疾病诊断方面经验各异的眼科医师进行了比较。
结果
VisionFM在诊断眼部疾病方面的表现优于基线深度学习方法，在内部验证中，其在八种疾病类型和五种成像模式下的接收者操作特征曲线下平均面积（AUROC）达到了0.950（95%置信区间[CI]，0.941~0.959）。在外部验证中，在基于眼底的糖尿病视网膜病变识别中，VisionFM的AUROC达到了0.945（95% CI，0.934~0.956），在基于光学相干断层扫描的年龄相关性黄斑变性识别中，其AUROC达到了0.974（95% CI，0.966~0.983）。一项研究比较了在基于眼底照片诊断12种眼部疾病方面，VisionFM与中级眼科医师的准确性，结果显示二者的准确性接近。VisionFM的通用性可扩展到新的成像模式和设备，并可有效处理数据集偏移。例如，VisionFM使用其在预训练期间从未接触过的成像模式对糖尿病视网膜病变进行了准确分级，AUROC为0.935（95% CI，0.902~0.964）。此外，VisionFM还可基于眼底照片直接预测青光眼进展和颅内肿瘤。
结论
VisionFM提供了通过多种成像模式诊断或预测多种疾病的高效平台，并可通过其开源模型权重和代码库进行扩展，纳入更多数据、模式和应用。（由中国香港特别行政区研究资助局等资助）。
版权信息
本文由《NEJM医学前沿》编辑部负责翻译、编写或约稿。对于源自NEJM集团旗下英文产品的翻译和编写文章，内容请以英文原版为准。中译全文以及所含图表等，由马萨诸塞州医学会NEJM集团独家授权。如需转载，请联系nejmqianyan@nejmqianyan.cn。未经授权的翻译是侵权行为，版权方保留追究法律责任的权利。
点击下方名片，关注《NEJM医学前沿》
