论文: SAM4MLLM: Enhance Multi-Modal Large Language Model for Referring Expression Segmentation

• 论文地址：https://arxiv.org/abs/2409.10542
• 论文代码：https://github.com/AI-Application-and-Integration-Lab/SAM4MLLM

创新点

• 提出了一种允许MLLM理解像素级细节的方法SAM4MLLM，无需改变MLLM模型架构、引入新标记或使用额外损失，该方法简单但对引用表达分割（RES）非常有效。
• 为了连接MLLM和SAM，引入了一种新颖的方法，通过主动询问语言系统来获取提示点线索。
• 在各种RES基准上进行实验，包括RES数据集、GRES和ReasonSeg，验证了SAM4MLLM的有效性，并展示了其在处理复杂像素感知任务中的优良性能。

内容概述

SAM4MLLM是一种创新的方法，集成Segment Anything Model（SAM）与多模态大型语言模型（MLLMs）以实现像素感知任务。

1. 首先，在MLLM训练数据集中引入像素级信息，而不改变原有的MLLM架构，这使得MLLM能够使用与主流LLM相同的文本交叉熵损失来理解像素级信息。
2. 其次，考虑到输入分辨率限制和模型架构未明确设计用于视觉任务，MLLM在像素表达方面可能存在的潜在限制。进一步利用SAM增强输出，通过后处理MLLM的输出以相对简单的方式获得更高精度的分割掩码。
3. 最后，为了在SAM和MLLM之间建立联系，一种简单的方法是使MLLM生成SAM的提示点。利用LLM的对话能力，主动要求MLLM获取SAM的有效提示点。

SAM4MLLM解决了RES问题，使得MLLMs能够学习像素级的位置信息。将详细的视觉信息与大型语言模型强大的表达能力以统一的基于语言的方式结合起来，而在学习中没有额外的计算开销。

SAM4MLLM

编码分割掩码为SAM提示

现有的用于分割的MLLMs依赖于模型架构的专门设计、分割特定的token和异构损失函数来预测对象掩码。而SAM4MLLM利用了SAM的特点，将少量文本提示token（边界框加上几个指示它们是否位于对象区域的点）转换为高质量的连续分割掩码。

SAM4MLLM使用在边界框内采样的点作为离散提示。具体而言，使用一个边界框  和  个点来编码任意形状的掩码。  个点的提示，每个点包含三个值：  坐标、  坐标以及它是否在掩码上，编码为  。

通过将连续分割掩码编码为离散的SAM提示，避免了添加任何token或改变模型结构，同时仅使用文本自回归交叉熵损失进行训练。这种方法与语言模型的原始训练模式一致，使得MLLMs能够理解像素级信息，并促进未来的模型扩展变得更加容易。

使用MLLM提示SAM

为了将SAM以统一的方式纳入MLLM，一个主要问题在于获取SAM的提示点，包括在物体掩码区域内的正点（inside）和在外部的负点（outside）。为此，提出了两种解决方案：提示点生成（Prompt-Point Generation, PPG）和主动查询提示点（Proactive Query of Prompt-Points, PQPP）。

PPG直接采用MLLM来生成提示点和边界框，但同时生成多个点的学习将面临挑战，因此仅使用了少量提示点。PQPP则利用了MLLM的对话能力，首先询问一个粗略的边界框，然后通过问答的方式在边界框内探测多个感兴趣的点以提示SAM。

• SAM4MLLM-PPG

PPG采用了一种能够同时接受文本提示和图像输入的MLLM。为了使MLLM与分割任务对齐，使用了参数高效的微调技术LoRA，从而基于包含图像-文本对和真实掩码的RES数据集进行模型训练。LoRA输出位置提示，包括边界框  和  组正点和负点  ，如图 (a) 所示，其中一组包含  个正点和  个负点（  ）。

为了向LoRA提供位置监督，在训练阶段根据物体掩码随机采样  组点（  ），然后将这些提示发送给SAM。对于每一组，SAM输出分割结果。过滤掉与真实掩码相比IoU较低的提示，仅保留前  组（如图 (c) 所示）。在该实现中，仅需要文本损失（自回归交叉熵损失）。 通常为64，  。

在推理阶段，LoRA直接输出发送给SAM进行分割的点，如图 (b) 所示。

• SAM4MLLM-PQPP

PQPP利用MLLM的查询-响应能力，而不是直接生成提示。对提示点进行采样，并主动询问MLLM这些点是否在掩码内（或外）。在训练阶段，根据真实掩码随机采样一个边界框和  组点，并进行两轮对话。在对话的第一轮中，LoRA响应一个边界框。在第二轮中，对于每个  个点，LoRA在训练期间响应该点是否在掩码内（是或否）。

在推理阶段，LoRA在第一轮中为输入的文本查询和图像输出一个边界框。然后，在边界框内均匀采样点并在第二轮再次发送给MLLM-LoRA，并询问它们是否为正点（或负点），用于SAM进行分割。通常将网格大小设置为  。为了在发送到SAM之前提供高质量的提示点，低置信度的点将被移除。

RES训练

为了使基础MLLM与RES任务对齐，使用包含与RES相关示例的三个数据集来指导模型朝目标前进。其中两个（RES数据集和gRefCOCO数据集）包含具有真实掩码的RES数据，第三个（VQA）是一个没有掩码的视觉对话数据集，用于进一步增强联合视觉-语言理解的总体能力。

在训练期间，为了保持MLLM在图像上的泛化能力，冻结了大部分网络参数，只调整了MLLM的视觉重采样器和LoRA适配器。

对于上述提到的所有数据集，我们在训练过程中不使用数据增强，因为翻转和/或裁剪可能会改变图像中物体的相对位置或关系。

主要实验

何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看