多模态大语言模型（MLLM）在医学视觉问答（VQA）领域展现出巨大潜力，通过提供针对医学图像的具体临床问题的回答，有助于提高医疗专业人员的工作效率。然而，现有医学VQA数据集规模较小且问题过于简单，限制了模型训练和微调。为了解决这一问题，研究团队提出了Medical-CXR-VQA，这是一个大规模的X光胸片问答数据库，覆盖了更广泛的问题类型，包括异常、存在、位置等七种问题类型，为构建更准确的医学VQA模型提供了基础。
论文标题：
Interpretable medical image Visual Question Answering via multi-modal relationship graph learning
论文地址：
https://authors.elsevier.com/sd/article/S1361-8415(24)00204-4
项目链接：
https://github.com/Holipori/Medical-CXR-VQA
多模态大语言模型 (Multimodal Large Language Moodel, MLLM) 以其强大的语言理解能力和生成能力，在各个领域取得了巨大成功。
在医学领域上，视觉问答 (VQA) 是医学多模态大语言模型的一项重要任务，它可以通过回答针对医学图像的具体临床问题，有效提高医疗专业人员的效率。这一类工作可以减轻公共卫生系统的负担，对于医疗资源贫乏的国家来说尤其重要。
然而，现有的医学 VQA 数据集规模较小，仅包含相当于分类任务的简单问题，缺乏语义推理和临床知识。
如图1所示，现有的ImageCLF VQA-MED数据集仅包含「这张图像里主要异常是什么？」和「这张图片里看到了什么？」这两种完全相当于分类任务的问题。
这些学习到的图推理路径可进一步用于 LLM 提示工程（Prompt engineering）和链式思维（Chain-of-thought），这对于进一步微调和训练多模态大语言模型有重要意义。
一、数据集介绍
图2 Medical-CXR-VQA 问题类型的统计数据
表1 Medical-CXR-VQA 问题类型示例
二、数据集构建的方法
MIMIC-CXR是一个包括377,110张胸部X光片和277,835个放射学报告的大型数据集。作者基于MIMIC-CXR构建了Medical-CXR-VQA数据集。
传统基于规则构建的方法的一种途径是将数据集构建过程分为两步，第一步是从原始文本信息中提取出结构化的关键信息，例如疾病的位置，类型，级别，存在可能性等等；第二步是基于所提取的关键信息构建问题答案对（QA pairs）。
作者先前的工作Medical-Diff-VQA所采用的就是这种该方法，而这种方法在第一步提取结构化关键信息时非常依赖于预设关键词和规则的覆盖程度。
在千变万化的自然语言表达中，构建出一套可以覆盖所有情形和表达的规则几乎是不可能完成的任务，而借助于LLM其强大的语言理解能力和生成能力，这个问题可以迎刃而解。
这种基于LLM的方法正是针对上述第一步过程的改进。
作者采用了Llama 2 70B 作为核心LLM，以提取放射学报告中的数据。整个数据生成过程可以分为以下几个步骤：
首先，为增强LLM对特定任务的理解，作者对其进行了微调（finetune）。使用GPT-4对100份放射学报告按照精心设计的提示词进行结构化关键信息提取，并将这些信息格式化为JSON。随后，两位专业放射科医生对提取的信息进行了校验和修正，并将这100个医生标注的样本便作为黄金标准用于对Llama 2 70B的微调。
在微调完成后，利用该模型对MIMIC-CXR数据集进行全量的关键信息提取。为了确保提取质量并抑制模型可能的幻觉问题（hallucination），作者实施了一系列后处理操作。这些操作包括：统一疾病名称，从疾病名称中剥离属性词（如位置、类型、级别），并进行属性词的重新分配等。
至此，结构化的关键信息提取已经完成。
为验证基于LLM的方法与传统基于规则的方法在结构化信息上的表现差异，作者对两种方法在100个随机抽取的样本上进行了比较。基于规则的方法使用了与LLM方法相同的信息覆盖面进行关键词提取。
表2 基于LLM的方法与基于规则的方法在100个结构化信息提取的结果比较
最后，作者基于提取的结构化信息生成了问答对(QA pairs)，并由两位人工验证者对500个问答对进行了验证。
表3 数据集人工验证结果
三、Baseline模型介绍
基于构建的Medical-CXR-VQA数据集，作者提出了一种多模态图推理模型，如图3所示。
图3 模型结构
为了使图网络能够有效理解问题并从检测目标中提取相关节点信息，作者在每个节点中融入了问题的编码特征。
为深入挖掘解剖结构和病灶之间的关系，作者设计了一种包含三种关系的图网络结构：空间关系、语义关系和隐含关系。
在空间关系部分，作者根据检测目标的相对位置将其划分为11种类型，并将这些空间关系赋值到节点之间的边上，利用ReGAT（Relation-aware Graph Attention Network）更新节点特征。
在语义关系方面，作者与医学专家合作，构建了两种医疗知识图谱：共现知识图谱（Co-occurrence Knowledge Graph）和解剖学知识图谱（Anatomical Knowledge Graph）。共现知识图谱是通过统计不同疾病的共同出现概率构建的，而解剖学知识图谱则详细分类了病灶与其可能出现的解剖结构之间的关联。
对于隐含关系，作者采用全连接图，让模型在所有节点之间挖掘潜在信息。
经过ReGAT计算后，每种图均生成最终的节点特征，这些特征进一步经过平均池化层处理，得到各图的最终特征。然后，将三种图的特征加权相加，生成最终答案特征并用于答案预测。
通过以上方法，作者成功解决了病人姿态变化带来的挑战，同时提升了模型在Medical-CXR-VQA（医学胸片问答）任务中的性能。
表4 与基准模型的结果对比
四、总结与讨论
来源：公众号【新智元】
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
