"怀长期主义，聊医工科技"
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
| 今天的文章中，超哥为大家介绍一种多模态AI模型，随着眼科领域中多种疾病和任务的复杂性增加，传统单一任务、单一模态的AI模型已难以满足临床需求。本文介绍了一种新型多模态多任务AI基础模型——VisionFM，该模型通过预训练3.4百万张涵盖多种眼科疾病和成像模态的影像，展现出卓越的诊断和预测能力。VisionFM支持八种主要成像模态，包括眼底摄影、OCT、B超等，并通过多任务学习实现疾病诊断、病灶分割、系统性生物标志物预测等多种应用。研究表明，VisionFM在多种疾病诊断中平均ROC曲线下面积(AUROC)达0.950，与中级水平眼科医生的诊断能力相当甚至更优。此外，该模型在未接触的新模态和新设备数据中也表现出较高的鲁棒性，展示了广泛的通用性和推广性。尤其是在超声生物显微图像和病灶分割中，VisionFM显著超过传统模型。尽管面临数据偏倚和任务扩展的挑战，该模型为多模态影像AI技术在医疗领域的应用奠定了基础，并为实现更高效的临床诊断提供了可能。 |
医学影像大模型新进展：BiomedCoOp框架少样本学习语义一致性提升策略在超声影像中的突破
准确率超过90%！超声医生的AI助手来实现语音控制+实时诊断，医疗效率提升数倍！
“超声、CT一键搞定！微软重磅AI平台MedImageInsight，引领影像诊断未来”
随着眼部疾病的全球普遍化，例如白内障、年龄相关性黄斑变性(AMD)和青光眼，视觉健康面临着重大的公共卫生挑战。传统AI模型往往局限于单一疾病和任务，例如糖尿病视网膜病变的筛查，对新疾病、新模式的适应性较差。VisionFM作为一个多模态多任务AI基础模型，通过对340万张图像的预训练，在多种眼科应用中展示了卓越性能。
(A) 以往的眼科人工智能模型通常针对单一用途和疾病（例如糖尿病视网膜病变）设计，往往专注于单一成像模态（例如眼底摄影）并解决单一的临床任务或流程。(B) VisionFM 是一种新型的人工智能模型，旨在成为多用途、多疾病、多模态的基础模型，能够同时处理多种临床眼科任务，并支持多种眼科成像模态的处理。(C) VisionFM 的预训练和评估数据覆盖了来自18个国家的多样化地理位置。(D) 预训练数据包括340万张图像，超过50万名参与者，涵盖由多种设备采集的八种主要眼科成像模态。(E) 多模态数据按疾病配对，用于多模态学习，从而实现模态无关的疾病诊断。AMD 指年龄相关性黄斑变性；DR 指糖尿病视网膜病变；FFA 指眼底荧光血管造影；FP 指眼底摄影；HR 指高血压性视网膜病变；MRI 指磁共振成像；OCT 指光学相干断层扫描；RD 指视网膜脱离；RVD 指视网膜静脉阻塞；UBM 指超声生物显微成像。
研究方法与技术路径
VisionFM采用Vision Transformer作为核心框架，通过自监督学习机制（iBOT）实现了多模态编码器的预训练，覆盖八种主要的眼科成像模式，包括眼底摄影、OCT、B超等。模型训练与验证数据集来源广泛，包括53个公开数据集和12个私有数据集。
研究主要采用以下步骤：
数据预处理：剔除无关图像，均衡各类疾病及人群数据。
模型训练：通过自监督预训练增强模型对未标注数据的理解能力。
模型评估：在多种应用场景中与基线模型及专业医生进行比较。
主要成果
疾病诊断性能：
VisionFM在八种主要眼科疾病的诊断中表现优异，平均ROC曲线下面积(AUROC)为0.950。
在外部验证中，糖尿病视网膜病变的诊断AUROC达到0.945，年龄相关性黄斑变性的诊断AUROC为0.974，均优于现有模型。
对临床医生的比较：
VisionFM在12种疾病的诊断准确性上接近或优于中级水平的眼科医生，特别是在教程指导后，其一致性和可靠性更高。
广泛的推广能力：
对于未预训练过的新模态，如OCTA图像，VisionFM仍能准确分级糖尿病视网膜病变，AUROC达到0.935。
在设备变化和跨数据集迁移中，表现出高度的鲁棒性。
系统性预测：
VisionFM能从眼部图像中预测38种系统性生物标志物，包括血糖、肝肾功能等，与基线模型相比，预测误差显著降低。
分割与标记检测：
VisionFM在眼底血管、OCT分层和病灶分割任务中超过了U-Net和RETFound模型，表现出更高的Dice系数。
合成数据的利用：
通过1:5的真实与合成数据比例训练，VisionFM在数据有限的模态（如裂隙灯和MRI）中取得显著性能提升。
(A) 使用巴拉圭数据集 (n=1437) 对基于眼底图像的糖尿病视网膜病变识别进行外部验证。(B) 使用Drishti-GS1数据集 (n=101) 对基于眼底图像的青光眼识别进行外部验证。(C) 使用OCTDL数据集 (n=1169) 对基于OCT的年龄相关性黄斑变性识别进行外部验证。(D) 使用DRAC数据集 (n=120) 在新模态OCTA上对糖尿病视网膜病变分级进行验证。(E) 使用DeepDRiD数据集 (n=100) 在新成像设备（超广角眼底摄影设备）上对糖尿病视网膜病变分级进行验证。(F) 使用私有数据集 (n=41) 对少样本条件下的眼白化病诊断进行验证。(G) VisionFM与ResNet在预测38种生物标志物值 (n=12,176) 时的归一化均方根误差 (NRMSE) 对比。(H) 和 (I) VisionFM对尿酸水平的预测值与实际值的对比，结合痛风临床诊断的切点值（≥360 µmol/l）。(H) 使用外眼图像预测 (n=2890)。(I) 使用眼底图像预测 (n=9286)。
挑战与未来方向
尽管VisionFM取得了显著进展，但仍存在以下局限性：
数据偏倚：主要数据来源于单一国家，对其他种族或地区可能存在准确性差异。
小样本验证：某些任务（如颅内肿瘤预测）数据规模较小，需更大样本支持。
诊断能力的限制：模型在某些复杂任务中的表现仍落后于高级医生，未来需要结合更多多模态数据。
任务扩展性：尚需加入更多罕见病和新任务的验证与优化。
(A) VisionFM在基准数据库上的分割结果量化分析，并与RETFound和U-Net进行了对比。该数据库包含22个公开数据集和1个私有数据集。测试图像数量分别为：眼底血管分割367张，眼底病灶分割698张，OCT层分割396张，OCT病灶分割900张，以及MRI眼眶肿瘤分割41张。(B) VisionFM在少样本OCT层分割中的性能表现，并与RETFound和U-Net进行了对比（396张测试图像）。(C) VisionFM在不同成像模态下的分割和标志物检测的定性示例。术语说明：GT（Ground Truth）指真实标注值；MRI（磁共振成像）；OCT（光学相干断层扫描）；UBM（超声生物显微成像）。
结论
VisionFM作为多模态多任务眼科AI基础模型，通过高效的自监督学习和跨模态适应能力，为眼科诊断与预测提供了强有力的支持。未来，随着更多数据和任务的融入，其临床价值将进一步提升。
参考文献
Qiu, Jianing, Jian Wu, Hao Wei, Peilun Shi, Minqing Zhang, Yunyun Sun, Lin Li et al. "Development and validation of a multimodal multitask vision foundation model for generalist ophthalmic artificial intelligence." NEJM AI 1, no. 12 (2024): AIoa2300221.
"怀长期主义，聊医工科技"
我是超哥，超声行业17年老伙计，做过研发，搞过生产，趟过市场，开过（在开）公司；越野跑爱好者；工作狂；沟通粗暴直接；严苛完美主义者；起伏皆为过往；信奉长期主义和第一性原则；欢迎来聊来组局...
*免责声明*
本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。
