斯坦福&哈佛医学院 - MMedAgent，一个用于医疗领域的多模态医疗AI智能体

3.3.1 Grounding3.3.1 接地3.3.1 接地

Grounding ，也称为检测，旨在通过生成包含对象的边界框的坐标来识别和定位输入图像中的特定对象。据我们所知，现有的医学模型无法同时处理来自不同模态的图像。因此，我们提出了一种为医学领域量身定制的通用接地工具。具体来说，我们选择针对医学成像领域微调 Grounding DINO ，一种开放式物体探测器。

我们的第一步是收集多个医学图像分割数据集，包括 FLARE2021 、 WORD 、 BRATS 、 蒙哥马利县 X 射线集 （MC） 、 VinDr-CXR 和多模态细胞分割数据集 （Cellseg） 。如 附录表 中所述，这些数据集针对不同的模式、器官或疾病，每个数据集都包括原始成像及其相应的像素级分割注释。通过提取每个对象周围的最小外部矩形，这些分段蒙版进一步转换为边界框。然后，边界框的坐标和相应的对象标签将记录为每个数据集中的接地标签。

基于发布的预训练权重，我们使用上述数据集以及自然图像领域的两个常见数据集（即 COCO 和 Flickr30k）对 Grounding DINO 进行了微调，以保持模型检测常见对象的能力。

3.3.2 其他任务

B-Seg 涉及在提供覆盖 ROI 的边界框时识别和描绘图像的感兴趣区域 （ROI）。它是一种交互式分段，自 Segment Anything （SAM） 开发以来已变得流行。我们选择 MedSAM ，它将 SAM 微调到医疗领域，作为我们的工具。提示仅限于边界框，因为它们为 SAM 提供了更精确的指导。具体来说，在这个场景下，我们考虑用户提供边界框的位置，在这个位置可以直接应用 MedSAM 来获取 ROI 掩码。

G-Seg 是指将接地与 SAM 相结合。它旨在解决用户仅指定要在图像中分段的特定对象时更常见的情况。我们首先激活微调接地工具以定位所引用的物体，然后以框格式将其位置提供给 MedSAM。请注意，此任务还展示了 MMedAgent 使用多个工具处理复杂任务的能力，这是以前的工作中没有的能力。

分类旨在确定封闭集中医学影像最合适的类别。具体来说，我们定义了一组封闭的标签 L ，包括器官类型、常见图像模式和复杂模式，例如超声成像、苏木精和伊红组织病理学。集合 L 的详细信息显示在附录 A.1 中。我们采用 BiomedCLIP ，它在零样本和细粒度分类方面表现出卓越的性能。根据图像嵌入和每个文本嵌入之间的余弦相似性对图像进行分类。

MRG 涉及根据提供的医疗信息或成像创建准确和真实的医疗报告。MMedAgent 结合了 ChatCAD ，一种开源工具，旨在为胸部 X 光图像生成医疗报告。该模型在 MIMIC-CXR 数据集上进行训练，可以提供包含详细放射学分析的报告，识别与胸部相关的疾病，例如心脏扩大、水肿、实变、肺不张等。

RAG 是指通过整合从外部数据源获取的最相关信息来增强生成的输出。我们选择 ChatCAD+ 来实现医疗检索流程。ChatCAD+ 从医学词典中检索信息，其中包含 1972 年疾病和医疗程序的详细描述，包括它们的介绍、症状、诊断、治疗和原因，这些都来自专业医学参考 默克手册。根据用户的输入，该模型搜索与编码消息具有最高余弦相似性的医学主菜，并从医学词典中检索相关知识。

5.1.1 评价标准

为了评估 MMedAgent 在各种复杂医疗任务上的性能，我们创建了一个由 70 个不同问题组成的评估数据集。对于这个数据集，我们最初从Merck诊疗手册中随机选择 10 个概念进行 RAG，并从各自的数据源中选择 60 张不同任务的未见图像。其中包括器官接地、疾病接地和细胞接地各 10 张图像，以及 20 张用于 MRG 的 X 射线图像和 10 张用于各种分类模式的图像。值得注意的是，VQA 任务评估显示在 Section 5.2 中。由于无法从语言上描述分割任务，我们提供 Section 5.1.3 中显示的定性结果。然后，我们使用 Section 3.2 中概述的相同提示来生成用于评估的 instruction-tuning 数据。随后，我们将数据分别馈送到 GPT-4o、MMedAgent 和其他基准测试中，以获得输出。GPT-4o 是新发布的多模态模型，具有很强的视觉理解能力。根据 OpenAI 的测试，它超越了 GPT-4 Turbo，推理速度更快。因此，GPT-4o 的输出可以被视为一个强大的基准。所有输出都将由 GPT-4 进行评估，并根据它们的有用性、相关性、准确性和详细程度以 1 到 10 的等级进行评分。我们为 GPT-4 提供图形标题，并包括 60K-IM 的内联提及，用于 VQA 任务。详细提示如图 所示。对于 MRG 任务，报表将作为输入图的标题。对于原始数据中没有标题的检测和其他任务，我们通过将图像与标签相结合来生成标题，例如，“显示肾脏器官的 CT 扫描”。根据 GPT-4o 的输出，我们提出了一个绝对分数，即 GPT-4 输出的分数，以及一个相对分数，定义为 S ∗ / S G P T − o （ % ） ，它表示其他 MLLM 引起的性能变化。此处，S ∗ 是指 ∗ 生成的输出分数，其中 ∗ ∈ {MMedAgent， LLaVA-Med,...}。具体来说，我们与医学领域的两种 MLLM 进行了比较，即 Med-Flamingo 和 RadFM ，以及三种通用 MLLM，LLaVA-34B、Yi-VL-34B 和 Qwen-VL-Chat。分数越高表示输出质量越好。在评估过程中，MMedAgent 会实时动态地选择、激活和执行工具，然后将从这些工具中获得的结果进行汇总以回答问题。

图 3：LLaVA-Med 和 MMedAgent 在不同任务中的定性比较。不需要的响应和所需的响应分别以红色和绿色突出显示。

5.1.2 实验结果

如表2所示，MMedAgent 在各种任务上的性能明显优于所有其他基线。请注意，RadFM 无法处理接地和 RAG 任务，而 Flamingo-Med 不适用于 RAG，因为它无法处理纯文本输入。据观察，MMedAgent 的总体相对分数 （109.48） 大大优于所有其他最先进的 MLLM，比 MMedAgent 的支柱 LLaVA-Med （60.68） 高 1.8 倍。我们还提出了 LLaVA-Med （Tool in Test），这是 LLaVA-Med 的增强版本，它结合了工具的内部输出，MMedAgent 在这种情况下保持了其卓越的性能。

此外，器官grounding、疾病grouding和 MRG 的分数超过 100%，表明 MMedAgent 在这些任务中超过了 GPT-4o。这些结果强调了 MMedAgent 在各种模式的各种医疗任务中的卓越效率。

5.1.3 案例研究

图3显示了 LLaVA-Med 和 MMedAgent 之间的详细视觉比较。鉴于用户对涉及分析图像的任务（例如分类、接地和分割任务）的查询，LLaVA-Med 仅生成简单的对话响应，而没有解决给定的请求（以红色突出显示），并且无法生成可视化结果。相比之下，MMedAgent 通过激活适当的工具、整合其输出、生成准确的响应（以绿色突出显示）和可视化结果来有效地解决这些问题。MMedAgent 对工具的精确选择和工具本身的优越性保证了这一点。当遇到基于语言生成的任务（即 MRG 和 RAG）时，LLaVA-Med 无法提供对图像的深入分析。但是，MMedAgent 通过使用专为这些任务设计的工具提供更直接、更准确的响应。

5.2.1 开放式医学对话

我们遵循 LLaVA-Med 中开放式医学对话的设置，并使用与 LLaVA-Med 相同的测试数据，包括 193 个新问题和 50 张来自 PMC-15M 的看不见的图像。该数据集包含 5 种模态，可分为两大类：对话问题和详细描述问题。我们在第 5.1.1 节中使用相同的相对分数作为评估标准。由于这是一项纯语言任务，因此我们选择 GPT-4 的输出而不是 GPT-4o 作为参考分数。

如 表3所示，从问题类型（对话和描述）和图像模态（X 射线、MRI、组织学、大体和 CT）的角度评估性能。在对工具学习数据集进行指令调整后，MMedAgent 在这两种类型的问题上都表现得更好。此外，MMedAgent 在除 MRI 之外的所有领域都优于 LLaVA-Med，证明了 MMedAgent 在开放式医学对话中的效率。

5.2.2 VQA 基准测试

MMedAgent 还根据四个 VQA 基准测试进行评估，包括 VQA-RAD 、 SLAKE 、 PMC-VQA 和 PATH-VQA 。我们为每个数据集构建指令调整数据，并使用这些新添加的 VQA 工具对模型进行微调。对于每个数据集，我们随机选择 4K 图像-文本对作为训练集，并随机选择 300 对进行评估。具体来说，VQA-RAD、PATH-VQA 和 SLAKE 各包含 150 个来自开集的样本和 150 个来自闭集的样本，而 PMC-VQA 包含 300 个封闭的多项选择题。图表明，MMedAgent 在所有 VQA 基准测试中都明显优于 LLaVA-Med。

图 4：MMedAgent 的可扩展性。