CogVLM：预训练语言模型的视觉专家

2.1架构

CogVLM 模型包含四个基本组件：视觉 Transformer (ViT) 编码器、MLP 适配器、预训练大型语言模型 (GPT) 和视觉专家模块。 图4 显示了 CogVLM 架构的概述。 组件的设计和实现细节如下：

ViT 编码器。 我们在 CogVLM-17B 中使用了预训练的 EVA2-CLIP-E (Sun et al., 2023b)。 注意，ViT编码器的最后一层被移除，因为它专门用于聚合用于对比学习的[CLS]特征。

MLP适配器。 为了将ViT的输出映射到与词嵌入文本特征相同的空间，我们使用了一个MLP适配器，一个两层MLP（SwiGLU (Shazeer, 2020)）。 为了实现方便，所有图像特征在语言模型中共享相同的position id。

预训练大型语言模型。 CogVLM的模型设计兼容任何现成的GPT风格预训练大型语言模型。 特别地，CogVLM-17B采用Vicuna1.5-7B (Chiang et al., 2023)进行进一步训练。 一个因果掩码被应用于所有注意力操作，包括图像特征之间的注意力。

视觉专家模块。 我们在每一层添加一个视觉专家模块，以实现深度视觉语言特征对齐。 特别地，每一层中的视觉专家模块由每一层中的一个QKV矩阵和一个MLP组成。 QKV矩阵和MLP的形状与预训练语言模型中的形状相同，并从预训练语言模型中初始化。 其动机是语言模型中的每个注意力头捕获语义信息的某个方面，而一个可训练的视觉专家可以转换图像特征以与不同的注意力头对齐，从而实现深度融合。

正式地，假设注意力层的输入隐藏状态为X∈ℝB×H×(LI+LT)×D，其中B是批大小，LI和LT是图像和文本序列的长度，H是注意力头的数量，D是隐藏大小。 在带有视觉专家的注意力中，X首先被分成图像隐藏状态XI和文本隐藏状态XT，注意力计算如下：

其中WI,WT是视觉专家和原始语言模型的QKV矩阵，并且 Tril(⋅)表示下三角掩码。 FFN层中的视觉专家表现相似，

其中FFN_I和FFN_T分别是视觉专家和原始语言模型的FFN。

位置嵌入。 在LLM中的RoPE中，我们允许所有视觉符元共享单个位置ID，因为它们在输入到ViT时已经封装了位置信息。 这种方法减轻了LLM中符元之间远程衰减的影响。 鉴于图像可以占据数百到数千个符元，并且典型的输入序列结构为‘<image embed> query’，使用传统的位置编码将导致编码序列过长。 此外，这将导致查询更多地关注与其更接近的图像序列，即图像的下部。

2.2预训练

数据。 用于预训练的图像-文本对都是公开可用的，包括LAION-2B和COYO-700M。 去除损坏的URL、NSFW图像、带有噪声标题的图像、带有政治偏见的图像和纵横比为>6或<1/6的图像后，大约剩下15亿张图像用于预训练。

我们还制作了一个包含4000万张图像的视觉接地数据集。 图像标题中的每个名词都与边界框相关联，以指示图像中的位置。 建设过程基本上遵循(Peng et al., )，该过程通过spaCy (Honnibal & Johnson, 2015)提取名词，并使用GLIPv2 (Zhang et al., 2022)预测边界框。 图像-文本对采样自LAION-115M，它是LAION-400M的一个子集，由(Li et al., 2023b)过滤。 我们过滤并保留了 4000 万张图像的子集，以确保超过 75% 的图像包含至少两个边界框。

训练。 预训练的第一阶段是针对图像字幕损失，即文本部分的下一个符元预测。 我们使用批次大小为 8192，对上述 15 亿个图像文本对训练 CogVLM-17B 模型，迭代次数为 120,000 次。 预训练的第二阶段是图像字幕和指称表达式理解 (REC) 的混合。 REC 是一项根据物体的文本描述预测图像中边界框的任务，其训练形式为 VQA，即 问题：物体在哪里？ 和 答案：[[x0,y0,x1,y1]]。 x和y坐标的范围从000到999，表示图像中的归一化位置。 我们只考虑“答案”部分中下一个符元预测的损失。 我们使用上述文本图像对和视觉定位数据集，对第二阶段进行预训练，迭代次数为 60,000 次，批次大小为 1,024。 在最后 30,000 次迭代中，我们将输入分辨率从224×224更改为490×490。 可训练参数的总数为 65 亿。

2.3对齐

在指令对齐阶段，我们训练了两个通用的模型：CogVLM-Chat 和 CogVLM-Grounding。 CogVLM-Chat 接收自然语言输入和输出，而 CogVLM-Grounding 接收包含边界框的输入和输出。

CogVLM-Chat。 在我们的研究中，我们整合了来自各种开源视觉问答数据集的数据，包括 VQAv2 (Antol et al., 2015)，OKVQA (Marino et al., 2019)，TextVQA (Singh et al., 2019)，OCRVQA (Mishra et al., 2019)，ScienceQA (Lu et al., 2022)，以及格式化为多轮对话的数据集，例如 LLaVA-Instruct (Liu et al., 2023c)，LRV-Instruction (Liu et al., 2023a)，LLaVAR (Zhang et al., 2023)。 然后，我们对这些不同的数据集进行了统一的指令监督微调 (SFT)。 SFT 数据的完整性和质量至关重要；值得注意的是，最初通过仅使用语言的 GPT-4 管道生成的 LLaVA-Instruct 数据集包含某些不准确之处。 我们通过人工检查和标注仔细纠正了这些错误，以确保数据质量。

VQA 数据集通常具有简洁的，通常是一个词的答案，这与提供具有广泛推理的详细响应的对话数据集形成对比。 为了适应这种可变性，我们使用了格式为 问题：简短答案： 用于简洁的回复，以及 问题：答案： 用于SFT阶段的扩展话语。

在训练过程中，模型进行了6000次迭代，学习率为1e-5，批量大小为1024。 为了增强和确保训练的稳定性，我们激活了视觉编码器的参数，并将其学习率调整为其余训练参数学习率的十分之一。

CogVLM-Grounding。 为了赋予我们的模型一致的、交互式的视觉定位能力，我们收集了一个高质量的数据集，涵盖了4种类型的定位数据：（1）基于语境的字幕生成（GC）——图像字幕数据集，其中每个名词短语后面都跟着相应的参考边界框；（2）指称表达生成（REG）——面向图像的数据集，图像中的每个边界框都用准确描述和指代特定区域内容的描述性文本表达进行标注；（3）指称表达理解（REC）——面向文本的数据集，每个文本描述都用多个参考链接进行标注，这些链接将短语与相应的框关联起来；（4）基于语境的视觉问答（GroundedVQA）——VQA风格的数据集，其中问题可能包含给定图像中的区域引用。 定位数据的来源都是公开可用的，包括Flickr30K Entities (Plummer et al., 2015)，RefCOCO (Kazemzadeh et al., 2014; Mao et al., 2016; Yu et al., 2016)，Visual7W (Zhu et al., 2016)，VisualGenome (Krishna et al., 2017) 和 Grounded CoT-VQA (Chen et al., 2023a)。 [box]在本节中的格式为[[x0,y0,x1,y1]]。

值得注意的是，这些精心策划的数据集展现了视觉定位能力的多样性，许多数据集可以适用于不同的任务。 例如，基于语境的字幕数据集可以重新制定以适应REG和REC任务。 以“一个男人[box1]和一个女人[box2]一起散步。”为例，这可以重新表述为问答对，例如（“描述这个区域[box2]。”，“一个女人。”）和（“男人在哪里？”，“[box1]”）。 同样，REC数据集可以通过切换输入和输出转换为REG任务，反之亦然。 但是，某些转换可能会导致歧义。 例如，当给出字幕“一个男人[box1]在跑步，另一个男人[box2]在观看。”中提取的独立查询“另一个男人在哪里？”时，[box1]和[box2]之间的区别变得模糊，可能导致错误。

3.1图像字幕生成

我们在上述四个基准测试上评估了我们预训练的基础模型的图像字幕生成能力。 在对Nocaps和Flickr数据集进行零样本评估时，我们评估了模型在描述长尾视觉概念方面的精度。 此外，我们还展示了在COCO和TextCaps数据集上微调的结果。

详细性能如表1所示。 总体而言，我们的模型在所有方面都达到了最先进的或相当的性能。 具体来说，在NoCaps基准测试中，我们的基础模型在四个分割中都优于之前的最佳方法GIT2，在非领域集合中的最大值达到5.7分，而仅使用了10%的预训练数据（15亿个符元与129亿个符元）。 在Flickr基准测试中，我们的模型达到了94.9的最先进分数，比同时发布的Qwen-VL模型高出9.1分。 这些结果证明了我们的预训练模型在图像字幕任务中的卓越能力和鲁棒性。 我们还在COCO(Lin et al., 2014)和TextCaps上评估了我们的模型，其中后者专门设计用于将给定图像的文本信息整合到字幕中。 尽管没有使用专门的光学字符识别（OCR）数据进行训练，令人鼓舞的是，我们的基础模型展现出显著的文本阅读能力，并获得了与PaLI-X-55B具有竞争力的性能，并且比同等规模的先前最佳模型PaLI-17B高出9.1分。

3.2视觉问答

如表2所示，我们的CogVLM模型展现了出色的性能，并在各种任务中显著领先于参数规模相似的模型，包括日常生活图像问答数据集VQAv2、文本密集型图像问答数据集（如TextVQA和OCRVQA）以及知识需求型数据集（如OKVQA和ScienceQA）。 这一成功展示了该模型强大的泛化能力和跨不同领域的潜力。

3.3大型视觉语言模型（LVLM）基准测试

我们的研究结果（详见表2）表明，CogVLM在所有7个LVLM基准测试中都取得了最先进的结果，显著超越了所有其他模型。 它还优于使用更大语言模型的多模态模型，例如使用Vicuna-13B的LLava1.5和使用LLAMA-33B的Emu-2，在MM-vet上分别领先15.7分和2.6分，在MMBench上分别领先9.9分和14.0分。 与在LLaMA-65B上训练的IDEFICS-Instruct相比，CogVLM在Seed-Bench、MMBench和LLaVA-Bench上的得分分别高出19.3分、23.1分和20.9分。 此外，CogVLM 在MMMU数据集上取得了41.1分，在幻觉评估数据集POPE上取得了87.9分，在多模态数学推理基准MathVista上取得了35.2分。 这些令人印象深刻的结果不仅展示了其强大的推理能力和多任务泛化能力，也清楚地表明CogVLM在这些领域明显优于其他模型。 值得注意的是，诸如InstructBLIP和MiniGPT-4之类的浅层融合模型在大多数基准测试中表现不佳，尽管InstructBLIP在指令数据上进行了广泛的训练，这凸显了深度融合对于增强性能的必要性。

3.4视觉接地

表3显示了标准视觉接地基准测试的结果。 我们发现，我们的通用模型在所有方面都实现了最先进的性能，比之前的或同时期的模型具有显著优势。 如表3底部所示，我们的模型甚至超过了专门针对单个任务训练的模型，在9个子集中的5个子集上实现了SOTA性能。 例如，在RefCOCO val子集中，我们的模型得分达到92.76，超过了UNINEXT-H的92.64；在RefCOCO+ test-A子集中，得分达到92.91，超过了ONE-PEACE的92.21；在RefCOCOg test子集中，得分达到90.79，超过了UNINEXT-H的89.27。 这些结果表明，结合我们的训练范式，我们的模型具有显著的视觉接地能力。

3.5消融研究

为了了解不同组件和设置对我们模型性能的影响，我们进行了为期6000次迭代、批量大小为8192次的广泛消融研究。 表4总结了以下方面的结果：

模型结构和调整参数。 为探究CogVLM模型的有效性，我们对几个结构变体和调优策略进行了消融研究，包括：1) 只调优MLP适配器层；2) 调优所有LLM参数和适配器，但不添加视觉专家；3) 只在每第4个LLM层添加视觉专家；以及4) 只在所有层的FFN中添加视觉专家。

从结果可以看出，浅层视觉-语言对齐，即仅调优适配器层（类似于BLIP-2中使用的方法），会导致性能显著下降。 此外，训练视觉专家的性能高于训练LLM的性能，尤其是在需要外部知识的数据集上，即使训练参数大致相同。 我们还比较了添加视觉专家的其他变体，包括a. 每4层插入一个专家模块和b. 从专家中移除注意力部分。 这两种方法都会导致一定程度的性能下降，但在可接受的范围内，这为平衡计算开销和模型性能提供了一些指导。

初始化方法. 对于视觉专家的初始化方法，我们比较了使用LLM权重进行初始化和随机初始化。 我们在各种数据集上的结果表明，使用LLM权重进行初始化始终能获得更好的性能。 这表明在语言数据上预训练的Transformer架构具有一定的处理视觉符元的能力。 此外，它可以作为多模态预训练初始化更有效的起点。

视觉注意力掩码. 我们根据经验发现，与全掩码相比，对视觉符元使用因果掩码可以产生更好的结果。 这有点违反直觉，因为使用双向注意力掩码可以访问比因果掩码更多信息。 我们假设这种现象的可能解释是因果掩码更符合LLM的固有结构。

图像自监督学习损失. 我们还研究了图像特征的自监督学习损失，其中每个视觉特征预测下一个位置的CLIP特征，用于视觉自监督。 与PaLI-X(Chen et al., 2023b)的观察结果一致，我们发现尽管在早期实验中我们确实观察到小型模型有所改进，但在下游任务上并没有带来改进。

视觉编码器。 我们用3亿参数的EVA2-L模型替换了44亿参数的EVA2-E模型，以研究视觉编码器参数对各种任务的影响。 结果表明，大多数基准测试的性能仅略有下降。 然而，在面向文本的数据集TextVQA中观察到一个显著的例外，我们在其中记录了2.5的下降。

EMA。 我们在预训练过程中使用了EMA（指数移动平均）。 消融实验结果表明，与不使用EMA相比，EMA通常会在各种任务中带来改进。