NTU提出Text4Seg: 重塑图像分割为文本生成

语义描述符的定义。

我们的语义描述符受到 ViT Dosovitskiy 等人 (2021) 的启发，它将图像表示为 16×16 视觉符号。 如 图 3 所示， 该过程首先将图像分割成固定大小的补丁，并将它们扁平化。 然后，每个补丁由其相应的语义描述符表示。 描述符可以像语义标签一样简单 (例如，“天空”，“沙子”)，短语 (例如，“棕色狗”，“黑色狗”)，甚至更复杂的文字描述 (例如，“左边的一条狗”) 用于错综复杂的场景。 这种方法将图像编码成一个长度为 256 的语义描述符序列，它满足将图像分割集成到 MLLM 中的要求，方法是：

• • 

  遵守 MLLM 的下一个符号预测范式，便于更容易优化。

• • 

  不需要架构更改，确保无缝集成和可扩展性。

• • 

  采用“文本作为掩码”范式，充分利用 LLM 的文本生成能力进行分割。

行级 RLE。

全长语义描述符的主要限制之一是由于图像中固有的空间冗余导致的符号长度过长。 例如，在 refCOCO Kazemzadeh et al. (2014) 数据集中，256语义描述符的平均词元长度为583，在 V100 GPU 上进行一次引用表达式分割大约需要 19 秒。 为了解决这个问题，我们引入了简单的游程编码 (RLE) Golomb (1966) 来压缩语义描述符中相邻的重复文本。

一种直接的方法是将 RLE 直接应用于整个语义描述符，称为图像级 RLE (I-RLE)。 但是，我们凭经验发现，这会导致性能显着下降，表明压缩后的描述符可能会丢失关键的空间信息。

为了缓解这个问题，我们提出了一种新颖的行级游程编码 (R-RLE) 技术。 如 图 3 所示，R-RLE 在行级别进行操作，每行由“∖n”分隔。 这种方法将词元长度平均从 583 减少到 154，同时保留了更多的空间信息。 重要的是，与全长语义描述符相比，R-RLE 没有表现出性能下降，并且显着提高了推理速度。

模型架构。

我们的方法基于几个开源 MLLM，包括 LLaVA-1.5 Liu 等人 (2024a)，DeepseekVL Lu 等人 (2024)，InternVL2 Chen 等人 (2024) 和 Qwen-VL Bai 等人 (2023)。 主要实验涵盖了 6 个 MLMM，其模型大小范围从 13 亿到 130 亿个参数，以及 3 个连接器，包括 MLP (LLaVA-1.5, DeepseekVL)、Pixel Shuffle + MLP (InternVL2) 和交叉注意力 (Qwen-VL)。 在实验过程中，所有架构均保持不变。 此外，我们使用配备 ViT-H 的现成 SAM 作为我们的掩码优化器。

模型训练。

我们的方法使用 SWIFT Zhao et al. (2024) 实现。 所有模型都在 8 个 Tesla A800 GPU（40GB）上训练，全局批次大小为 128。 我们使用 AdamW 优化器 Loshchilov (2017)，初始学习率为 2e-4，在预热阶段之后遵循线性衰减计划，比率为 0.03。 权重衰减设置为 0，梯度范数在 1.0 处被裁剪。 为了最大程度地减少 GPU 内存使用量，我们使用 LoRA（秩为 64）以及 ZeRO-2 阶段内存优化来微调所有模型。

设置。

对于指称表达式分割 (RES)，我们遵循标准评估协议 Lai et al. (2024); Xia et al. (2024)，并使用 refCOCO 系列评估我们的方法。 我们通过组合训练集 refCLEF、refCOCO、refCOCO+ Kazemzadeh 等人 (2014) 和 refCOCOg Mao 等人 (2016)，构建了指代分割数据集，数据集包含 80 万个样本。 我们的模型在这个数据集上训练了 5 个 epoch。 此外，为了评估在多目标/非目标分割任务上的性能，我们使用训练集 grefCOCO Liu 等人 (2023a)，构建了一个包含 41.9 万个样本的泛化指代表达式分割数据集。 我们继续对模型进行微调，共 2 个 epoch。

单个目标的结果。

如表 1 所示，我们的 Text4Seg 在 refCOCO (+/g) 数据集的所有分割中都取得了最高的性能。 对于 70 亿规模的 MLLM，Text4SegDeepseekVL-7B 提供了令人印象深刻的平均 cIoU 值为 75.0，超过了最接近的竞争对手 Groundhog，其 cIoU 得分为 74.2。 值得注意的是，Text4SegInternVL2-8B 的平均 cIoU 值为 75.4。 在 130 亿参数规模下，Text4SegLLaVA-1.5-13B 取得了显著的改进，平均 cIoU 值为 76.2，明显优于 GSVA 的 72.8 cIoU。 这些结果表明 Text4Seg 在单目标指代表达式分割方面具有明显的优势。

多目标/无目标的结果。

如表 2 所示，Text4Seg 在多目标和无目标指代表达式分割任务中保持着竞争优势。 例如，在 70 亿规模下，Text4Seg 在 gRefCOCO 数据集上的平均得分在 69.9 到 71.1 之间，明显高于 GSVA 的 65.6。 在 130 亿规模下，Text4SegLLaVA-1.5-13B 进一步扩大领先优势，平均得分达到 71.5，比 GSVA 高出 4.9 个百分点。 这些结果突出了 Text4Seg 在处理更复杂分割挑战时的鲁棒性和多功能性。

设置。

我们的 Text4Seg 也可以直接应用于目标检测，使用简单的 mask2box 范式，该范式首先根据输入生成分割掩码，然后从掩码中推导出边界框。 我们采用这种方法来评估我们模型的指示词理解，使用与 RES 中相同的数据集。 具体来说，如果预测的边界框与真实边界框之间的 IoU 超过 0.5，则预测被认为是正确的。

结果。

如 表 3 所示，我们的 Text4Seg 在 refCOCO 和 refCOCO+ 数据集上取得了最佳结果，而 Groma 在 refCOCOg 上表现良好。 然而，Text4SegInternVL2-8B 提供了最高的整体准确率，达到 87.1%。 值得注意的是，Text4SegInternVL2-8B 和 Text4SegQwen-VL-7B 都超过了各自的 MLLM 基线。 特别是，Text4SegInternVL2-8B 表明比 InternVL2-8B 有了显著改进，其平均准确率从 82.9% 提高到 87.1%。 此外，我们的 Text4SegLLaVA-1.5-13B 在平均水平上比之前的 SOTA，Shikra，高出 3.7%。 这些结果突出了我们 Text4Seg 的优越性，它提供了一个更精细的像素级表示，从而提高了边界框预测的精度。

设置。

我们的文本作为掩码范式允许将下游分割任务无缝集成到 MLLM 的预训练中。 为了评估其有效性，我们使用 LLaVA-1.5-7B 模型作为基线，评估了该模型在各种视觉理解基准上的性能。 我们的方法 Text4Seg 基于 LLaVA-1.5-7B 的第二阶段，在 LLaVA-v1.5-mix665k 数据集和我们的参考分割数据集上进行训练。 为了进行全面的比较，我们还报告了基于我们实现的 LLaVA-1.5-7B 模型的性能。

结果。

表 4 展示了 LLaVA-1.5 和 Text4Seg 在各种 VQA 和 RES 基准上的比较。 Text4Seg 在混合数据集上训练，不仅在视觉问答任务中取得了与 LLaVA-1.5 相当的性能，而且在 RES 基准上也展示了强大的结果。 这些结果验证了我们基于文本生成的分割方法是一种无缝的增强，为预训练 MLLM 提供了一种简化的途径。 它成功地集成了强大的分割功能，而不会影响模型的对话能力。

设置。

我们遵循 LaSagnA Wei 等人（2024） 来评估 Text4Seg 在开放词汇分割任务上的性能。 我们构建的 Text4Seg 基于 LLaVA-1.5-7B 并在 COCOStuff Caesar et al. (2018) 上训练了 1 个 epoch。 我们使用 mIoU 作为评估指标，评估了模型在 ADE20K (A-150) Zhou et al. (2019)、PASCAL Context 59 (PC-59) Mottaghi et al. (2014) 和 PASCAL VOC 20 (PAS-20) Everingham (2009) 数据集上的性能。

结果。

如 Tab. 5 中所述， 可以预期 Text4Seg 的性能落后于专门的分割模型 (e.g.，ClearCLIP Lan et al. (2024a)、ProxyCLIP Lan et al. (2024b)、MaskCLIP Ding et al. (2022)、GroupViT Xu et al. (2022)、OVSeg Liang et al. (2023) 和 SAN Xu et al. (2023))，因为 LLM 通常需要相当大的数据集才能得到充分的训练。 然而，Text4Seg 在 PC-59 基准测试中仍然表现出具有竞争力的性能，突出了其效率。 更重要的是，它明显优于基于 MLLM 的 LaSagnA，后者使用了额外的解码器，展示了其在开放词汇分割方面的强大潜力。

语义描述符的分辨率。

为了分析语义描述符分辨率变化对 RES 性能的影响，我们创建了具有不同语义描述符密度的指令调优数据集。 具体而言，我们使用 16×16、24×24 和 32×32 个语义描述符来表示每个图像，以探索更精细或更粗糙的分辨率如何影响模型精度。 如 图 7 所示，在不使用掩码细化器的情况下，Text4Seg 的性能随着分辨率的提高而提升，平均从 162 的 67.5 cIoU 提高到 322 的 71.4 cIoU，超过了 LISA 的 69.9 cIoU。 图 7 中展示了两个例子。 注意，改进是在不增加 MLLM 视觉塔的特征分辨率的情况下实现的。 虽然更高密度的语义描述符提高了结果，但它也显著增加了符元长度和计算成本。 因此，我们引入了现成的 SAM 来细化输出。 实验结果表明，使用 162 语义描述符和 SAM 已经取得了最佳性能。

使用 SAM 变体的掩码细化器。

表 6 比较了各种掩码细化器的性能，例如具有不同架构的 SAM，以及在 16×16 分辨率下不使用细化器的语义描述符。 具有 ViT-L 架构的 SAM 在降低推断时间的同时，取得了与具有 ViT-H 架构的 SAM 相似的性能。 值得注意的是，与没有掩码细化器的 Text4Seg 相比，使用 ViT-L 的 Text4Seg 将 RES 任务的平均性能从 70.3 cIoU 提高到 75.4 cIoU，推断时间仅略微增加。

I-RLE 与 R-RLE。

我们使用 refCOCO 和 refCOCO+ 数据集的 训练/验证 分割，研究了在 16×16 分辨率下不同语义描述符编码方法的影响。 如 图 8 所示，虽然完整长度的语义描述符取得了高性能，但由于在两个数据集上输出的符元更长 (∼590)，它们在推断时间方面 (∼19 秒) 显著更长。 尽管 I-RLE 方法减少了符元数量和推理时间，但它导致了显著的性能下降，在 refCOCO 上从 74.2 cIoU 下降到 70.4 cIoU，在 refCOCO+ 上从 68.0 cIoU 下降到 64.7 cIoU。 我们提出的 R-RLE 方法取得了更好的平衡，将语义描述符的长度减少了 74%，将推理速度提高了平均 3×，同时保持了相同的性能。