Apple提出MM1.5：多模态大型语言模型微调的方法、分析和见解

3.1消融的经验设置

除非另有说明，否则我们在消融研究中遵循以下默认设置。

模型架构和数据预处理。 我们使用与 MM1 [118] 相同的架构，专注于 3B 密集模型，用于本节中的所有消融研究。 具体来说，

• • 

  静态图像分割 [99] 启用了 4 个子图像分割（加上一个概述图像），每个子图像通过位置嵌入插值调整为 672×672 分辨率。 请注意，我们在消融期间没有使用动态图像分割，以加快实验迭代速度。

• • 

  关于多图像数据的编码，我们仅在当前训练样本包含少于三个图像时启用图像分割，以避免过长的序列长度。

• • 

  与 Ferret [170] 中介绍的功能类似，MM1.5 直接支持参照和定位。 应请求，MM1.5 可以在其文本输出中生成边界框以定位其响应。 此外，该模型可以解释对输入图像中的点和区域的引用，以参照坐标和边界框的形式（见图 1）。

• • 

  与 MM1 一样，CLIP 图像编码器和 LLM 主干基于我们的内部模型，其中 C-Abstractor [14] 作为视觉语言连接器。

模型优化。 对于持续预训练和 SFT，我们将批次大小设置为 256。 我们使用 AdaFactor 优化器，峰值学习率为 1e-5，余弦衰减为 0。 对于持续预训练，我们最多训练 30k 步。 在 SFT 期间，所有模型都经过一个 epoch 的优化。

持续预训练。 模型使用 MM1 预训练检查点进行初始化。 默认情况下，我们在 45M 高分辨率 OCR 数据（包括 PDFA、IDL、渲染文本 [68] 和 DocStruct-4M [46] ¹ ）上进行持续预训练。 在每个训练批次中，数据从这四个数据集中等量采样。 与 SFT 阶段类似，我们使用静态图像分割，将每个图像分成五个子图像，每个子图像调整大小到 672×672 分辨率。 我们发现这种高分辨率设置对于持续预训练至关重要。

SFT 数据分类。 将数据集分组到类别中可能有助于数据平衡和简化分析 [68, 151]。 在高级别上，我们根据每个示例中呈现的图像数量将数据集聚类到 单图像、多图像 和 纯文本 类别中。 对于单图像组，我们进一步将每个数据集分类为以下子类别：general，text-rich，refer&ground，science，math 和 code。 请参见附录 A.2 中的表格 13，以了解用于消融研究的每个类别的详细信息，以及图 4，以了解组类别的概述。

评估基准。 我们根据基准主要衡量的能力将基准分组。 我们的基准组包括一般、文本丰富、参考和接地、知识和多图像。 请参见附录 A.4 中的表格 14 以了解更多详细信息。 我们提出Category Average Score，即每个子类别所有基准数字的平均分数，以表示该能力的平均性能。 我们专注于一般、文本丰富和知识类别，因为这些能力被广泛认为是 MLLM 的必要条件。 为了评估模型对这些能力的影响，我们参考一个 MMBase 分数，定义为一般、文本丰富和知识类别的平均分数。 评估指标的详细信息见附录 A.4。

3.2SFT 消融

为了确定最佳的 SFT 方案，我们首先在第 3.2.1 节中研究了不同数据类别带来的影响，然后在第 3.2.2 节中研究了如何最佳地混合所有数据。

3.3持续预训练消融

除非另有说明，否则我们在高分辨率设置 (1344×1344) 中使用 OCR 数据（总共 45M），包括 PDFA、IDL、渲染文本[68] 和 DocStruct-4M[46] 进行持续预训练。 在 SFT 阶段，本节中的所有持续预训练模型都使用来自 Base Mixture 的数据进行微调，包括一般、文本丰富的知识（科学、数学和代码），以及它们在第 3.2.2 节中描述的所选混合比率。

图像分辨率的影响。 直观地说，使用 OCR 数据训练时，更高分辨率的图像更可取。 我们首先通过建立两个基线来消除此阶段图像分辨率的影响，分别使用 378×378 和 756×756 分辨率进行持续预训练。 对于前者，我们禁用了图像分割和位置嵌入插值（我们的 CLIP 图像编码器原生支持 378×378 的图像分辨率）。 对于后者，我们启用了图像分割并关闭位置嵌入插值。 结果如 图 9(a) 所示。 注意，在这些实验中，最终的 SFT 阶段始终使用 1344×1344 的图像分辨率，因此训练仅在持续预训练中使用的图像分辨率方面有所不同。

我们可以清楚地看到，使用 1344×1344 的图像分辨率进行持续预训练可以实现最佳的整体性能。 降低分辨率始终会导致最终分数降低。 特别是，使用 378×378 分辨率进行持续预训练的模型可能会比没有持续预训练的模型表现更差。 我们假设这是由于较低分辨率下可见细节不足，这可能会阻碍模型有效地从持续预训练混合中的基于文档的 OCR 数据中学习。

OCR 数据和合成字幕的影响。 除了 OCR 数据，高质量的合成图像字幕 [18, 71] 也被广泛认为对预训练很有用。 为了研究其影响，我们使用默认设置，除了在持续预训练中使用的数据。 我们研究了两个合成字幕数据集：LLaVA-Recap-3M [71] 和 ShareGPT4V-PT [18]，以及它们与我们的 OCR 数据的组合。 当我们将 ShareGPT4V-PT 或 LLaVA-Recap-3M 与我们的 OCR 数据组合时，我们在每个训练批次中从各个数据集平等地采样数据。 结果如 图 9(b) 所示。 我们观察到所有持续预训练的模型都比没有持续预训练的基线模型表现更好。 但是，我们没有找到确凿的证据表明这些高质量的合成字幕比可以说更简单的 OCR 数据更能提高性能。 虽然之前的一些研究 [74] 表明合成字幕可以提高性能，但我们的结果表明需要进一步研究其确切的影响。

因此，我们进一步研究了通过自训练生成的合成字幕对更大规模（高达 7M）和更可控风格的影响，使用在人类标注的字幕上微调的预训练 MM1 模型，类似于 [30]。 这组新数据集在某些环境中展现出了一些希望，详见附录 A.1。 我们将在未来的工作中进一步研究这个课题。

3.4预训练消融

除了 SFT 和持续预训练之外，我们强调在预训练过程中使用大规模、特定任务的数据对于建立模型有效处理各种任务的稳固基础的重要性。 对于像 MMMU [177] 这样对知识要求很高的基准测试，我们发现模型性能对它的文本理解能力高度敏感。 LLM 理解和处理文本内容的能力对于解决这些基准测试中提出的复杂推理和知识表示挑战至关重要，正如在 Cambrian-1 [151] 中观察到的那样。

我们在预训练阶段加入了 [39] 提出的更高质量、更多样化的纯文本数据集，称为 HQ-Text。 这些数据集经过专门策划，通过提供更深入、更多样的文本内容来增强模型的语言能力，重点关注常识、数学和编码。 此更新旨在增强模型在基于语言的推理方面的能力。

如图 10 所示，只需用新数据替换，知识方面的平均得分就提高了 0.85 分。

结合纯文本数据集和第 3.2 节中讨论的最新 SFT 方法，我们进一步完善了预训练数据组合。 MM1 [118] 中提出的原始数据比例分别为图像-标题、交错图像-文本和纯文本数据的 45:45:10。 进一步的实验表明，减少交错预训练数据的数量，同时相应地将纯文本数据的权重增加到 50:10:40 的比例，可以在 SFT 之后提高大多数任务的性能。 我们注意到，与 MM1 中的预训练消融不同，对于 MM1.5，我们在 SFT 后的下游基准测试上进行评估以选择我们最终的预训练混合。 我们假设主要依赖于少样本预训练指标可能不是理想的，因为这种评估上的改进可能无法有效地转移到下游性能。 我们为 MM1.5 优化的新数据混合不仅增强了多模态能力，还加强了语言理解，从而在各基准测试中取得了优异的整体性能。

通过更新混合数据，文本丰富类平均性能提升了 0.85，知识类平均提升了 0.99，参考和地面任务提升了约 1.4，如图 10 所示。 尽管由于交叉数据的权重较低，多图像数据集略有下降 0.05，但我们认为这种权衡是合理的，因为它可以保证所有任务都能保持良好的性能。

3.5动态图像分割消融研究

为了有效地处理具有可变纵横比和分辨率的图像，我们引入了 动态 图像分割方法，用于高分辨率图像编码。 我们还详细说明了这种提出的分割方法的消融设置和相应结果。

动态图像分割。 处理高分辨率图像对于文本丰富的图像理解至关重要。 在 静态 图像分割 [99] 中，图像被分割成多个子图像，并由视觉编码器分别编码。 LLM 然后可以访问同一图像的多个块，从而实现更高的有效分辨率。 然而，将每个图像分割成一个严格的 2×2 网格通常效率低下。 低分辨率图像在不需要的情况下被分割，而具有非正方形纵横比的图像会导致子图像仅被填充。 因此，我们采用动态图像分割方法，这在文献 [71, 27, 46, 99, 165, 185]中很常见，用于 MM1.5。

给定最小和最大子图像数量，𝑛min 和 𝑛max，考虑所有候选网格 𝐺={(𝑛ℎ,𝑛𝑤)∈ℕ|𝑛min≤𝑛ℎ⋅𝑛𝑤≤𝑛max}。 此外，考虑视觉编码器的分辨率 𝑟 和输入图像分辨率 (ℎ,𝑤)。 如果存在一个网格可以覆盖图像，我们选择在长边调整到网格后最小化填充量的网格，即，

受制于 𝑛ℎ𝑟≥ℎ𝑔≥ℎ 和 𝑛𝑤𝑟≥𝑤𝑔≥𝑤，其中 ℎ𝑔,𝑤𝑔 表示候选网格长边调整后图像的高度和宽度。 如果不存在这样的网格，我们选择最小化由于将图像缩小而导致的分辨率损失并完全覆盖长边调整后的图像的网格。

图 11 可视化了两种情况下最小化的区域。 假设我们允许最多 4 个子图像。 使用静态图像分割方法，所有图像都使用网格 (2,2)。 动态分割方法允许以下网格：{(1,1),(1,2),(2,1),(1,3),(3,1),(1,4),(4,1),(2,2)}。

全局-局部格式。 除了子图像之外，我们还始终将长边调整到编码器分辨率 𝑟 的原始图像馈送到模型。 这确保了模型对图像有一个全局的理解。 如果网格是 (1,1)，我们省略概览图像。 我们考虑两种变体： (𝑖) 之前：概览图像放在子图像之前； (𝑖𝑖) 之后：概览图像放在子图像之后。 这些变体产生不同的结果，因为在 LLM 解码器中使用了自回归掩码，因此，选择决定了解码器在处理子图像时是否可以关注概览图像 (𝑖)，或者在处理概览图像时是否可以关注子图像 (𝑖𝑖)。

子图像位置指示器。 鉴于输入图像被动态地分割成多个子图像，我们探索是否可以帮助指示每个子图像在原始高分辨率图像中的位置，以确保模型能够理解原始二维图像结构。 具体来说，我们考虑两种方法。

• • 

  索引。 一个 (𝑘,𝑖,𝑗) 元组用于表示子图像位置信息，其中 𝑘 是示例中图像的零索引编号（假设训练样本中可能有多个图像），𝑖 和 𝑗 是单索引行和列 ID，例如，(0,0,0) 是图像 0 的概览图像，而 (0,2,1) 是图像 0 中第二行第一列的子图像。

• • 

  间隔。 我们使用三个文本符元来代替使用索引。 具体来说，‘:’ 是概览图像指示器，‘,’ 是列分隔符，而 ‘’ 是行分隔符。 后两个符元插入到对应于每个子图像的图像符元集中，以便从扁平化的图像符元序列中恢复原始二维图像结构。

更高分辨率的推理。 元组 (𝑛min,𝑛max) 用于决定模型训练的动态图像分割配置。 在推理过程中，可以通过简单地增加这些参数来支持更高分辨率的图像处理。 例如，我们探索在 (𝑛min,𝑛max)=(4,9) 处进行训练以节省模型训练计算量，而在推理过程中，我们使用 (𝑛min′,𝑛max′)=(4,16) 以更高的有效分辨率处理图像。