本文转自：河南省医学科学院
2024年11月27日，河南省医学科学院王宁利院长团队与香港中文大学袁武教授团队等多机构合作，共同开发的多模态、多任务眼科基础模型——VisionFM模型，其研究成果以“Development and Validation of a Multimodal Multitask Vision Foundation Model for Generalist Ophthalmic Artificial Intelligence”（用于智能化辅助诊断基于联邦多模态学习的眼科AI 基础大模型研究）为题，在《NEJM AI》杂志上成功发表。该模型在多种眼科疾病诊断和预测方面展现了卓越的性能，标志着眼科人工智能技术的全新进展，彰显了团队在推动眼科AI发展方面的巨大贡献。
图1 文章及作者信息
VisionFM模型成果介绍
眼部疾病如白内障、青光眼、糖尿病视网膜病变等的发病率逐年上升，且随着老龄化社会的加剧呈加重态势，而医疗资源配置繁琐、医护人力资源紧缺、高素质眼科医生和保健工作人员供给和培训远远不足、就医成本开销大，大量人群的眼科保健需求尚未得到有效满足，视力障碍将产生日益严重的个人和社会负担。尽管人工智能在眼科领域的研究已得到飞速发展，但多为针对单一病种或单一成像模式，存在很大的局限性，大范围推广及应用仍面临一定的困难。因此，临床上亟需开发一种能够处理多种类型数据、多病种、适用于多应用场景的通用人工智能基础模型。
团队在既往研究中，开发了基于深度学习的青光眼视神经病变检测模型，实现了利用眼底照识别疾病的特征性病理改变；并进一步发布了基于青光眼检测注意机制的卷积神经网络模型，使其利用有限的影像数据也能对疾病眼底病变进行识别，提高了模型的可解释性，并已用于青光眼的诊断和筛查。在此基础上，团队整合了超过340万张来自全球18个国家的眼科影像数据，涵盖了多种影像模态，包括外眼图片、眼前节裂隙照片、眼底照片、光学相干断层扫描（OCT）、眼底荧光血管造影（FFA）、眼科B超、超声生物显微镜（UBM）及磁共振，能够同时处理多种眼科疾病的筛查、病理分割、进展预测等任务。
研究结果表明，VisionFM在多达10种常见的眼科疾病（如糖尿病视网膜病变、青光 眼、老年性黄斑变性等）的检测中展现了卓越的精准度。VisionFM对于常见眼科疾病的诊断性能均优于传统模型ResNet；将VisionFM和低年资、中年资临床医生（高年资医生培训后）对12种常见眼科疾病的诊断准确性进行对比，发现其诊断能力超出低年资医生，与中年资医生相当。这一结果表明此通用模型有助于提高临床诊断效率并减少误诊风险，将大大减少医生的工作负担，尤其是在影像资源有限的基层医疗环境中。
图2 研究总体数据来源及模型任务总览图
“治未病”是现代医疗关注的焦点问题
VisionFM在做到对已患疾病进行精确诊断的基础上，还能够精准预测青光眼等慢性眼科疾病的进展风险，有助于早期干预，延缓疾病发展，提升疾病管理水平，评估疾病风险，降低晚期并发症发生率，为健康管理提供科学依据。
图3 共同识别8种常见眼科疾病的精确率—召回曲线
图4 12种眼科疾病中的广泛诊断准确性及与9名不同经验年限的眼科临床医生比较
“眼睛是心灵的窗户”
VisionFM通过眼科外眼照片和眼底照片可以预测全身38个生理指标，包括血常规、肝肾功、血糖血脂等，性能优于基线模型，其中对肾功指标（肌酐、尿素氮等）的数值评估准确率达80%以上。颅脑肿瘤可通过增加颅内压、直接浸润等方式压迫视神经，从而产生眼部相关症状，在探索使用眼底照预测颅内肿瘤方面，VisionFM的AUROC达到0.986，研究突破了眼科局限，开创了跨学科诊断的新范式。这提示我们利用眼科影像可以提供全身健康评估，有助于揭示全身性疾病的潜在早期信号，还可以避免侵入性检查对患者的负担和不适。模型的落地将推动眼科作为“全身健康窗口”在全科医疗中的地位，为基层筛查和健康管理提供便利。
图5 眼部图像中系统生物标志物和疾病预测
图6 眼底预测每个单独的系统性生物标志物的平均准确性及外眼图像
另外，VisionFM的多模态学习能力能在面对不同影像设备和新型影像数据时，依然保持优异的诊断效果。例如，在纳入的8种模态的学习基础上，使其识别OCTA图像诊断糖尿病视网膜病变并进行分级，其AUROC可达到0.935。在面临少见疾病临床数据短缺问题时，实验显示，其利用小样本即可实现高达0.993的AUROC。
图7 泛化性评估结果
左1：AUC 为新模式（OCTA）的 DR 分级；
左2：新成像设备 DR 分级的 AUC（超广角眼底摄影设备）；
左3：以小剂量方式诊断代表性不足的眼科疾病（眼白化病）的 AUC。
VisionFM模型的场景应用
VisionFM作为一款创新的多模态、多任务眼科基础模型，展现了在产业和临床应用中的巨大潜力。
1
为医院构建智能医学诊断平台，提高诊疗效率与质量；
2
为医生提供高级医疗决策支持系统，扩展其专业知识边界；
3
为企业打造智能分析平台，拓宽市场应用范围；
4
为公众建立疾病查询、在线问诊及健康科普智能化平台，助力提升全民健康水平。
在临床应用方面
1
VisionFM可作为辅助诊断工具。
它能够在多种眼科疾病的筛查和诊断中达到专业医生水平，特别是在疾病的早期识别和精确分级方面，极大提高了诊断效率和准确性。对于资源匮乏的地区，VisionFM作为辅助诊断工具可以大幅度减轻眼科医生的工作负担，提高医疗资源的使用效率。
2
VisionFM可作为慢病管理筛查工具。
该模型开创性地实现了通过眼部检查预测全身健康指标的能力。特别是在罕见病诊断和新型检查设备适应性方面的表现，为眼科AI的发展提供了新的范式。未来将联合心血管、肾病等相关专业，收集多学科患者眼部检查数据，进一步开发眼科大模型对全身多系统多器官健康状况的解读能力，助力四大慢病管理筛查，做到“眼部一张照，慢病早知道”。
在产业应用方面
VisionFM可开发多种应用端口，为眼科设备和AI技术企业提供强大的技术支持，推动智能影像分析技术的产业化。通过与眼科诊断设备的深度集成，帮助设备在硬件中嵌入更加智能的分析功能，从而提升设备附加值，实现硬件软件联动，为眼科产业带来前所未有的灵活性，拓宽市场应用领域。
结束语
VisionFM作为目前已发表的参数量最大的通用型眼科人工智能大模型，涵盖了常见眼科疾病及多种诊断模态。展现了出色的疾病检测、眼部结构分割、疾病预测及诊断等多重应用能力。能在面对不同影像设备和新型影像数据时，依然保持优异的诊断效果，在做到对已患疾病进行精确诊断的基础上，还能够通过眼科影像实现脑部肿瘤等全身多种疾病及指标的精准预测，提升疾病整体管理水平。
同时，该模型还可通过深度学习与自监督学习技术的结合，能够自主生成影像图像用于罕见病、典型病例的医学教学领域。VisionFM的推广将有助于提高眼部疾病诊断效率、优化疾病管理、促进多学科协作，推动医疗行业向更加精准、高效和以患者为中心的方向发展，更将在成本效益上带来长期的经济效益和社会价值。
【NEJM AI】 期刊简介
NEJM AI是新英格兰医学杂志(NEJM)于2024年推出的全新子刊，专注于人工智能在医疗领域的突破性研究。作为医学界最具影响力的期刊家族新成员，NEJM AI继承了NEJM严谨的学术标准，致力于发表能真正改变医疗实践的AI创新。该期刊的发布标志着人工智能在医学领域的重要性得到主流医学界的认可。
王宁利 教授
河南省医学科学院院长，国际眼科科学院院士，河南省科学技术协会副主席、河南省省立眼科医院院长、国家眼科诊断与治疗工程技术研究中心主任、首都医科大学眼科学院院长、北京同仁眼科中心主任。中国医学科学院学部委员、中华预防医学会公共卫生眼科学分会主委，世界青光眼协会主席。长期致力于“青光眼诊疗技术研究”和“重点眼病群体干预”两大领域，以第一完成人获国家科技进步二等奖2次，省部级一等奖5次，第一/通讯作者发表SCI论文350余篇，连续十年入选爱思唯尔“中国高被引学者”榜。
袁 武 教授
博士生导师，香港中文大学生物医学工程系助理教授，香港光学工程学会（HKOES）副会长，曾在约翰霍普金斯大学生物医学工程系担任研究助理，并兼任梅奥诊所神经外科系的研究职务。主要从事高分辨率生物医学成像技术和AI辅助图像处理技术在转化医学中的应用。率先开发了多项创新的生物光学成像探针和设备，包括便携式超高分辨率内窥镜OCT系统、超紧凑OCT微探针、多功能深脑微针以及三维气道球囊成像技术等。已发表论文100余篇，包括 Advanced Materials, NEJM AI, The Lancet Regional Health等高影响力期刊。担任多个生物工程与医学领域的国际期刊编辑委员会职务多次入选爱思唯尔全球引用次数最多的前2%科学家。
吴 建 研究员
博士生导师，河南省医学科学院院长助理、眼科研究所执行所长、国家眼科诊断与治疗工程技术研究中心研究员，中华预防医学会公共卫生眼科学分会委员、北京整合医学学会眼科学分会委员、河南省青联第十三届委员会委员。研究方向为医学人工智能及重点眼病干预研究领域，近五年以第一/通讯作者发表SCI论文30余篇。任10余本 SCI期刊审稿人，参与编撰国内外学术著作、指南8部。
求佳宁 博士后
英国帝国理工大学计算机系博士, 香港中文大学生物医学工程系博士后。其研究方向包括自我中心视角和机器人视觉、外科机器人、医学影像、普适传感技术和多模态学习。
魏 浩 博士
香港中文大学生物医学工程学系博士，于2022年加入智能生医成像实验室，主要从事医学影像分析方向，包括模型泛化，智能体和多模态大模型。
其他参与共同联合研发单位及人员名录
相关新闻摘要
国内首个应用临床的眼科大模型——Vision FM（“伏羲慧眼”）已于10月17日正式发布，是河南首个重磅发布的“豫健”系列大模型，也是人工智能技术在我省医疗健康领域运用的良好开端。未来，“伏羲慧眼”将广泛应用于临床应用、科研及产业转化等多个领域，为提升医疗服务能力、医学科技创新水平以及新质生产力发展注入动力。
新闻链接
国内首个应用临床眼科大模型 “伏羲慧眼”在郑发布 省委书记楼阳生出席发布会
值班审核：CQY
推荐文章
