本文转自：中国眼谷ChinaEyeValley
编者按
01
近期，国际顶尖医学期刊《Nature Medicine》（影响因子：58.7，位居Q1区）发表了一项突破性研究成果，题为《Self-improving generative foundation model for synthetic medical image generation and clinical applications》。这项研究由温州医科大学眼健康与疾病高等研究院院长张康教授与其团队，以及瞿佳教授共同主导，并联合了北京大学、澳门科技大学等高校团队。该研究院落地于中国眼谷，致力于眼科健康与疾病研究。此次研究成果的发布，标志着温州医科大学眼健康与疾病高等研究院在医学影像和人工智能领域取得了重大进展。研究团队成功研发出全球首个通用大型生成式医学影像模型——MINIM，该模型为医学影像生成和人工智能辅助诊断开辟了全新路径，推动了AI诊断性能的显著提升，在医学影像研究领域树立了新的里程碑。
MINIM的核心亮点
02
全球领先的通用性生成模型
MINIM具备生成多模态医学影像的能力，包括眼底图像、光学相干断层扫描（OCT）、胸部X光及CT等多个医学影像模态。与传统单一模态生成模型相比，MINIM实现了多模态影像生成的跨越式突破，其生成影像质量在临床和科研测试中获得高度评价。
显著提升AI模型的诊断能力
研究团队还展示了MINIM生成的合成影像数据融入训练集中，在两个重要临床应用中的突破：
乳腺癌HER2状态检测：MINIM生成的影像结合真实数据，将HER2阳性肿瘤分类的准确率从79.2%提升至94%。
肺癌EGFR突变检测：在肺癌患者的靶向治疗预测中，加入MINIM生成影像后，分类准确率从81.5%提升至95.4%，其预测的低风险组患者的生存率显著提升。
持续学习与适应能力
通过强化学习（RLHF）与迁移学习，MINIM实现了持续自我改进，并具备快速适应新数据域的能力。这种设计为AI在动态临床环境中的应用奠定了基础。
图像合成的生成系统示意图
团队介绍
03
张康教授
哈佛大学和麻省理工学院医学博士，哈佛大学遗传学博士，现任温州医科大学眼视光学院教授、博士生导师，温州医科大学眼健康与疾病高等研究院院长，国家眼部疾病临床医学研究中心人工智能与眼底病方向首席科学家、眼科创新与转化研究院院长、眼科生物治疗与人工智能实验室主任。
瞿佳教授
温州医科大学眼视光医院终身名誉院长，中国眼谷理事长。海南省真实世界数据研究院理事长、执行院长，眼视光学和视觉科学国家重点实验室主任，国家眼视光工程技术研究中心主任，国家药监局眼科疾病医疗器械和药物临床研究与评价重点实验室主任。
作者访谈
04
提问张康教授
MINIM在解决跨模态数据稀缺问题方面有哪些关键技术突破？针对不同患者人群和疾病类型，如何保障生成影像的公平性和准确性？
MINIM对于推进中国医学AI全球化发展又有何重要意义？
首先，MINIM在解决跨模态数据稀缺问题方面实现了几个关键技术突破，这些突破使得它能够在医学影像生成领域取得显著进展：
1. 多模态融合：MINIM整合了多种成像技术（如MRI、CT、眼底影像等）及其对应的文本描述，构建了一个跨模态的生成框架。这种能力让它不仅限于单一类型的影像数据，而是可以处理和生成多种类型的数据，在进行生成模型训练时可以有效利用不同医学数据间的共性特征，显著提升了数据利用效率，即使是在数据稀缺的情况下，也能为下游任务提供足够的训练样本，增强了AI模型的表现能力。
2. 强化学习（RLHF）与迁移学习：MINIM引入了基于人类反馈的两阶段强化学习框架，利用合成数据迭代训练模型，从而提高了生成图像的质量。
3. 下游数据扩增：通过临床医生评估和严格客观测量验证，MINIM合成的图像质量高，并且在面对以前未见过的数据领域时表现出增强的生成能力，其生成数据对多个下游临床应用性能提升起到重要作用。
其次，为了保障MINIM生成影像的公平性和准确性，我们采取了以下方法：
1. 多样化数据集：确保训练数据集中包含来自不同背景（例如年龄、性别、种族等）和各种疾病类型的样本。这种多样化的数据输入有助于模型学习到广泛的特征表示，从而减少对特定群体的偏见。
2. 增强泛化能力：MINIM展示了当面对以前未见过的数据领域时具有增强的生成能力。这表明它能够较好地适应新的情况，并且对于少见病症或代表性不足的人群也能提供较为准确的结果。
3. 持续反馈与改进：MINIM采用了基于人类反馈的强化学习框架，允许根据实际使用中的反馈进行调整和优化，在发现某些特定群体的表现不佳，会通过收集更多相关案例并重新训练模型来改进性能。
最后，MINIM作为世界首个通用大型生成式医学影像模型，能够根据文本指令为各种器官生成海量合成影像数据，有效解决了患者隐私保护问题并克服了高昂的数据标注成本。这对于中国医学AI的发展具有重要意义，因为它提供了一个创新的解决方案来缓解传统医疗数据获取与标注的困境，为医学影像大模型的开发、精准医疗的推进及个体化治疗的探索提供了强有力的技术支撑。此外，MINIM在多种成像模式下展现出的生成能力，以及在疾病诊断、医学报告生成及自监督学习等关键领域显著的性能提升，为中国医学AI的全球化发展提供了技术基础和应用前景。通过这种技术，中国可以在全球医学AI领域中占据领先地位，推动中国医学AI技术在全球范围内的应用和推广。
提问瞿佳教授
MINIM在眼科医疗领域有何贡献和意义？
我们是该否担心AI生成影像可能在医疗实践中取代医生的部分职能？如何平衡这种关系？
首先，MINIM在眼科领域展现了重要的贡献，尤其是其定制化数据生成能力，可以通过文本描述生成特定眼科疾病的影像数据，如视网膜裂孔、黄斑前膜等，这不仅解决了稀有病例数据匮乏的问题，还帮助训练出更加精准的诊断模型。同时，在近视防控领域，MINIM生成的合成影像可用于大规模的研究和筛查，结合AI的预测能力，能够识别儿童和青少年早期近视的风险因素，优化个性化干预策略。随着MINIM的进一步推广，它的应用将从单一的疾病诊断拓展到全面的眼健康管理，例如动态监测青光眼病情进展，或辅助制定屈光手术的个性化方案。MINIM的问世为眼科医学研究和精准诊疗提供了强大助力，也为提升全球眼健康水平贡献了新的力量。
其次，虽然AI在医学影像领域的应用展现出了巨大的潜力，但目前看来，AI更多的是作为医生的辅助工具，而不是替代者。AI的价值在于利用其广泛的医学知识数据库，辅助医生在复杂疾病面前做出决策，让临床诊疗进入了一个智能化的时代。AI技术辅助医学诊断，经训练后能对临床数据进行智能诊断，有效解决了医疗资源不足、高年资医师匮乏等问题。为了平衡AI与医生之间的关系，重要的是要认识到AI技术的应用应该是为了提高医疗服务的效率和质量，而不是完全取代医生。AI可以处理大量的数据和执行重复性的任务，而医生则可以专注于更复杂的诊断和治疗决策，以及与患者的沟通和关怀。通过这种方式，AI和医生可以共同工作，提高医疗服务的整体水平。同时，医疗行业也需要对医生进行再培训，使他们能够更好地利用AI工具，以及开发新的工作流程和标准，确保AI技术的安全和有效使用。通过这种合作和整合，可以最大程度地发挥AI的潜力，同时保持医生在医疗决策中的中心地位。
结语
05
MINIM的研究展示了人工智能在医学影像生成、数据增强及临床应用中的巨大潜力，标志着医学与AI结合的又一次革命性突破。这项成果不仅有望缓解医学影像数据稀缺的难题，还将助力精准医疗发展，为全球患者提供更加优质、高效的诊疗服务。
值班审核：CQY
推荐文章
温医大张康/瞿佳团队成功研发全球首个通用大型生成式医学影像模型
温医大眼视光张康教授团队在全球首次联合发布医疗数字孪生白皮书
