在生物医学领域，基础模型 (FM) 可以从大量未标记的科学文献、蛋白序列、SMILES等数据中学习，在各种单模态任务中展现出了卓越的性能。在训练中引入多模态数据，联合优化单模态编码器能够进一步提高FM的性能。然而，当扩展到三种以上模态时，这种方法会遇到计算成本、数据稀缺等问题。
生物医学知识图谱包含由头、尾生物医学实体以及关系表示的三元组结构信息，涵盖了蛋白质、分子和疾病等丰富的模式，使得全面的生物医学分析和机器学习成为可能。因此作者提出了BioBRIDGE方法，保持所有单模态模型固定，从生物医学知识图谱中学习跨模态转换。
在生物医学领域，基础模型 (FM) 可以从大量未标记的科学文献、蛋白序列、SMILES等数据中学习，在各种单模态任务中展现出了卓越的性能。在训练中引入多模态数据，联合优化单模态编码器能够进一步提高FM的性能。然而，当扩展到三种以上模态时，这种方法会遇到计算成本、数据稀缺等问题。
论文标题：
BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs
论文链接：
https://arxiv.org/pdf/2310.03320
一、贡献
本文的主要贡献有：
（1）创建一种通用桥接机制BioBRIDGE，能够有效连接任何模态对的表示，桥梁模块由知识图谱中丰富的结构信息进行监督，而单模态FM的参数保持冻结以提高计算效率。
（2）桥接单模态FM的方法在多种跨模态预测任务中具有竞争力，可以外推到训练知识图谱中不存在的节点，其性能与监督基线相当，并泛化到训练图谱中不存在的关系，通过进一步训练来提高性能。
二、方法
与对比学习、中心模态对齐等方法不同，BioBRIDGE 保持所有单模态基础模型的参数固定，学习如何在单模态FM中进行转换的桥接模块，方法对比如图1所示：
图1 BioBRIDGE与其他方法对比
该方法的具体流程如下：
（3）在生成任务中，桥接模块支持检索增强生成的多模态提示，检索识别输入分子的潜在蛋白质靶标、分子的疾病适应症、蛋白质的相关疾病、基因本体中的相关术语等，丰富语言模型或其他下游生成模型的输入。
图2 BioBRIDGE整体流程图
三、实验
在跨模态预测任务中，研究者设计了域内实体+域内关系、域内实体+域外关系、域外实体+域内关系三组实验来测试 BioBRIDGE 的预测能力。
图3 跨模态检索任务
图4 PPI任务
在域外实体+域内关系实验中，作者设计了跨物种蛋白质表型匹配任务来测试 BioBRIDGE的跨模态转换能力。从小鼠基因组信息学 (MGI) 资源构建小鼠蛋白质和相关小鼠表型的数据集，充当域外实体；将编码的小鼠蛋白质嵌入转换为具有“关联”关系的“疾病”空间；使用Recall@K、Precision@K、nDCG@K一套排名指标来评估匹配性能。
图5 跨物种蛋白质表型匹配任务
图6 BioBRIDGE多模态问答增强
四、总结
本文提出了利用知识图谱桥接单模态生物医学基础模型实现多模态任务的的BioBRIDGE方法。由生物医学知识图谱的关系信息进行监督，BioBRIDGE 可以有效地将嵌入转换为目标模态，并且只需要训练桥接模块，具有很高的参数效率。BioBRIDGE 可以通过推断域内/域外实体和关系来处理各种跨模式预测任务，还支持具有多模式输入的生成任务，所产生的性能与有监督的专家模型相当，展现了知识图谱和基础模型相结合的范式在跨模态任务中的巨大潜力。
作者：李晓彤 来源：公众号【开放知识图谱】
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
