VeCLIP：通过视觉增强的字幕改进CLIP训练

3.1预备知识

剪辑。 对比语言-图像预训练 (CLIP) 方法已证明其通过语言监督训练视觉模型的有效性。 具体来说，在每次训练迭代期间，都会从海量训练数据中采样一批N图像-文本对{xI,xT}。 在将图像输入视觉编码器之前，我们对其应用数据增强。 我们将视觉编码器和文本编码器分别提取的归一化特征表示为fI和fT。 我们使用对比损失来训练模型，其中配对的图像和文本被视为正样本对，其余的视为负样本。 迭代图像的训练损失可以表示如下：

其中(xIi,xTi)是批次中的it⁢h图像-文本对，而aug⁢(⋅)指的是图像增强。 sim⁢(⋅,⋅)是相似性度量函数。 在实验中，我们将τ设置为一个可学习的温度参数，用于缩放 logits。 迭代文本的损失是对称的，表示为LT。 最终，训练损失为L=(LI + LT)/2。

3.2利用视觉概念进行重新生成字幕

网络爬取的字幕 (AltTexts) 可能存在噪声且对图像信息量不足。 LaCLIP [12] 使用大语言模型来改写字幕。 如图1所示，如果标题存在噪声，则此方法可能不适用，因为大语言模型 (LLM) 只能重建句子，而无法在图像未提供任何信息的情况下引入新的信息。 鉴于替代文本 (AltTexts) 中固有的噪声，我们提倡利用预训练的多模态模型来生成增强的标题，这些标题包含从图像中提取的更丰富的视觉概念。 在本小节中，我们以LLaVA[24]为例，展示了一个可扩展且经济高效的规模化流程。

LLaVA 和用于视觉增强标题 (VeCap) 的图像字幕生成。 作为一种多模态模型，LLaVA 将 CLIP[32] 的开放式视觉编码器与一个大语言模型 (LLM)（例如 LLaMA[38]）连接起来，然后在视觉指令调优数据集上对其进行微调。 LLaVA 表明其有效地利用了预训练的大语言模型和视觉基础模型的能力。 给定输入图像xI，我们从 CLIP 的视觉编码器中获得fI。 然后，LLaVA 应用一个可训练的投影矩阵𝐖将fI转换为语言嵌入符元，以实现图像与语言的对齐。 为了减轻替代文本的影响，我们设计了针对 LLaVA 的独立于替代文本的提示，确保充分利用视觉概念。 我们避免将替代文本信息纳入 LLaVA，同时承认在大语言模型组件在生成数据集上进行微调期间可能会损失预训练的知识。 然而，这种权衡可能会限制其理解更复杂指令的能力。 因此，我们采用了一个简单而有效的提示：“简要描述图像，少于 20 个单词”，允许 LLaVA 自动直接从图像中生成视觉概念。 我们将 LLaVA 生成的这些标题表示为xT⁢v。 随后，图像文本对被转换为(xI,xT⁢v)。

3.3用于概念融合的可扩展大语言模型改写

鉴于 LLaVA 的语言能力有限，我们只使用 LLaVA 来提取所有可能的视觉线索。 然后，我们利用大型语言模型 (LLM) 来细化标题，融合来自 AltText xT 的知识和来自 xT⁢v 的新颖视觉概念。 此步骤具有三个主要优点：1）它确保保留在 AltText 中描述的信息，从而增强标题的信息量；2）它可以作为文本数据中一种“强增强”的形式，其特点是深刻地重构句子语法，而不是关注现有语言增强技术[40, 37]中使用的词级修改；3）它可以减轻大型视觉语言模型（例如，LLaVA）产生的“幻觉”问题，以确保最终标题中描述的实体存在于图像中。

考虑到使用 ChatGPT 或 Bard 等闭源模型为海量文本生成改写是不切实际的，因为通过 API 使用会产生巨大的财务成本和时间成本。 因此，为了促进大规模数据集上的改写任务，我们转向开源的最新 LLMs。 由于许可证问题，我们选择 Vicuna-1.1 [48]，它以其在文本完成任务中的强大性能而闻名，作为本研究中 LLM 改写的一个示例。 我们将上下文输入表述为以下三个组成部分。 首先，我们包含一个旨在告知 LLM 任务的句子，具体来说，是改写和融合两个附加的句子。 这作为初始上下文线索，引导 LLM 理解总体目标。 其次，我们对最终输出施加了一些约束。 例如，我们的目标是将属性放在名词实体之前，同时避免引入任何新的语义解释。 此外，重要的是句子避免以“图像”开头，而是直接阐述所有涵盖的概念。 最后，上下文的最后一部分包括需要融合和改写的两个句子 (xv 和 xT⁢v)，后跟分隔符。 这确保 LLM 在其上下文输入中提供了需要融合和改写的特定文本。 通过整合这三个组成部分，我们建立了一个全面的上下文，引导 LLM 熟练地编写多样化且融合知识的文本改写。

可扩展的批量推理过程。 利用精心设计的上下文输入作为提示，Vicuna展示了其在执行文本补全和生成相关文本样本的改写版本方面的能力。 然而，单项推理可能非常耗时，并且对于海量数据来说不可扩展。 因此，我们采用批处理推理过程而不是单项推理过程来执行此过程，如图2所示：我们将数据分组到批次中，并实现批处理推理过程，在Nvidia A100上实现高达64倍的加速。 具体来说，我们使用Vicuna-1.1-13B模型生成最终输出为xT⁢l。 最终提示如下：[ 将以下两个句子改写成一个简短的句子，同时遵守提供的指示：将属性放在名词实体之前，不要引入新的含义。 不要以“The image”开头。 + 1. 替代文本；2. 模型生成的标题。 ] 我们将来自大语言模型的标题表示为LLM-VeCap，或简称VeCap。

大语言模型的潜在伦理问题和故障案例处理。 在扩展大语言模型改写过程时，我们确定了大语言模型在执行指定任务时遇到困难的两种情况：1)伦理问题。 如果替代文本包含非法或暴力内容，大语言模型可能会回复“对不起，我不能……”；2)长度限制。 如果替代文本超过最佳长度，大语言模型的处理时间可能会大大延长，从而阻碍大规模改写。 为了解决第一种情况，我们使用模型生成的标题作为唯一输入，通过大语言模型进行改写以形成VeCap，从而预先排除潜在的非法或攻击性内容。 在第二种情况下，我们通过保留生成的标题但截断替代文本以符合最大允许长度来缓解这个问题，因此我们有更多与图像一致的视觉概念。

3.4VeCLIP：用于CLIP的具有视觉增强标题的混合训练方案

由于大语言模型改写可能会引入一致的风格，即使数据质量得到提高，也可能导致大规模预训练的数据多样性下降。 为增强数据多样性，我们提出一种混合训练方案，作为预训练中应用的额外文本增强：

然后，迭代图像的训练损失变为：LI=−∑i=1Nlog⁡exp⁡(sim⁢(fI⁢(aug⁢(xIi)),fT⁢(mix⁢(xti)))/τ)∑k=1Nexp⁡(sim⁢(fI⁢(aug⁢(xIi)),fT⁢(mix⁢(xtk)))/τ). 与原始 CLIP 训练的唯一区别在于，我们将 AltTexts 与我们改写的句子交替使用，所有其他组件保持不变。 与标准 CLIP 训练过程相比，此修改不会产生额外的计算复杂度或参数开销。 通过策略性地交替使用 AltTexts 和我们的标题，我们提高了预训练数据集的质量和多样性，而无需过滤任何数据点。 这种方法使模型能够从 AltText 和 VeCap 中收集信息。 这种简单而有效的策略提升了 CLIP 的训练方案，为利用大量网络爬取数据优化其他视觉语言预训练工作提供了一个可扩展的框架。

4.1预训练数据集和下游任务

预训练数据集和训练设置。 我们在四个规模的数据库 (命名为 VeCap) 上进行预训练实验，以展示我们方法的效率和可扩展性。 具体来说，我们将3M设为小型规模，12M设为中型规模，100M+设为大型规模。 我们使用ViT-B/16 [11]作为CLIP训练的视觉编码器。 对于小型/中型规模（3M/12M），我们的批量大小为8,192；对于大型规模（100M+），批量大小为32,768。 出于效率考虑，我们采用JAX [3]，并在64个TPU上训练3M/12M设置的模型，而在100M/200M预训练配置中，我们则使用了512个TPU。 所有模型均使用AXLearn框架进行训练。  ¹更多细节可以在附录A中找到。 为了展示其泛化能力和有效性，我们还在精心整理的CC3M/CC12M数据集上进行了评估，此外还有我们爬取的噪声WIT数据，这在我们的消融研究和附录C.2中有所体现。 我们对所有预训练模型进行了以下三个任务的评估。

零样本图像分类。 我们对ImageNet [10]、ImageNetV2 [33]和VTAB [46]上的所有模型进行了评估。 我们选择了9个任务（6个来自自然数据集，3个来自专业数据集），这些任务适合零样本分类任务，例如Flowers102 [28]和Caltech-101 [14]。 详细信息列在附录中。

零样本图像文本检索。 我们对COCO [23]和Flickr30k [31]跨模态检索任务（图像到文本（表示为I2T）和文本到图像（T2I）检索）进行了预训练模型的评估。 对于Flickr30k，我们使用标准的1K测试集进行评估。 我们根据召回率@k报告结果，分别为R@1、R@5和R@10。

零样本图像到图像检索。 我们选择GPR1200 [34] 用于图像到图像检索。 GPR1200 [34] 作为基于内容的图像检索的通用基准，包含来自六个不同领域的子集。 它包含1200个类别（每个类别10张图像）。 遵循 [34]，我们不将图像分割为查询集和索引集进行评估。 相反，我们对每张图像执行最近邻检索，并将剩余图像用作索引集。 我们报告平均精度均值 (mAP)。

4.2检索任务的结果

图像到文本和文本到图像检索。 我们在表 1 中总结了主要结果。 我们在COCO和Flickr30k数据集的图像到文本和文本到图像检索任务中，都显示了Recall@k指标的一致改进。 具体来说，对于小型和中型规模（3M/12M），我们在COCO图像到文本检索中Recall@1分别提高了+16.84%/+23.26%。 值得注意的是，在Flickr30k中取得的进展尤其显著，Recall@1提高了惊人的+28.40%/+29.20%。 随后，我们将我们的方法扩展到1亿和2亿，我们观察到持续且显著的改进。 值得注意的是，我们分别使用1亿和2亿数据，在COCO图像到文本检索性能方面取得了显著的+17.58%/+15.00%的提升。 此外，我们观察到随着数据集规模的扩大，改进幅度逐渐减小。 最初，我们在使用3M数据集的Flickr30k图像到文本检索方面取得了28.40%的显著改进，随后在使用200M数据集时下降到10.20%。 这些发现表明了我们提出的增强CLIP预训练流程的优势。 通过展示其从3M到300M的可扩展性，我们提供了令人信服的证据，证明其在现实场景中的适用性，特别是对于使用WIT数据集从头开始训练CLIP。

图像到图像检索。 我们使用具有6个领域的GPR1200 [34]进行此设置：Google Landmarks V2（自然和建筑地标），表示为Land；IMDB Faces，表示为Faces；iNat（植物、动物、昆虫和真菌）；INSTRE（平面图像和标志/玩具的照片），表示为INST；ImageNet Sketch，表示为Sketch；以及SOP（产品和物体，部分隔离）。 结果（mAP）总结在表3中。 在小型/中型规模（3M/12M）下，我们的性能提升了5.22%/3.92%。 即使将数据集扩展到2亿，我们仍然观察到六个领域平均得分显著提高了1.84%。 值得注意的是，我们的主要性能提升来自Sketch领域，这突显了视觉概念在零样本迁移能力中的关键作用。 因此，我们富含视觉信息的标题在学习这种向下游任务的迁移能力方面发挥着关键作用。

预训练的数据效率。 为了展示VeCLIP的数据效率，我们加入了在18亿数据上预训练的ALIGN[17]（表示为1.8B-ALIGN），以及在我们内部训练的、在14亿数据上训练的CLIP[32]模型（表示为1.4B-CLIP）作为基线，这些模型的训练规模要大得多。 我们使用这些模型，它们使用的数据量是我们设置的十倍以上，以展示VeCLIP训练的数据效率。 当扩展到1亿时，VeCLIP能够在几乎所有下游任务中超越1.4B-CLIP模型，这大约是其规模的7%。 具体来说，在COCO中，我们在两个检索任务中Recall@1都获得了+3.44%/+1.64%的提升。 进一步扩展到2亿后，改进更加显著，达到+5.82%/+3.92%。 此外，与1.8B-ALIGN模型相比，我们在COCO检索中获得了显著的+8.60%/+2.80%的提升，在Flickr30k中也获得了+2.50%/+0.62%的改进。 值得注意的是，这些改进仅使用了预训练过程中11.1%的数据。 这些结果显示了VeCLIP的数据效率。 当我们将其扩展到3亿时，结果与2亿相似。 3亿的结果可以在附录中找到。 因此，我们停止进一步扩展数据集。

4.3图像分类结果

ImageNet。 我们在ImageNet[10]和ImageNetV2[33]上使用与CLIP相同的提示（“一张[classname]的照片。”）进行零样本评估。 主要结果总结在表3中。 我们报告了Top-1、Top-5和Top-10的准确率。 在小型和中型规模的设置下，我们观察到显著的改进：在3M设置下，ImageNet/ImageNetV2的Top-1准确率分别提高了+10.52%/+6.42%，在12M设置下分别提高了+6.51%/5.50%。 虽然在扩展到100M/200M时改进变得微乎其微，但我们仍然在ImageNet和ImageNetV2上分别取得了值得注意的+2.07%/+3.21%和+0.90%/+0.83%的增益（100M和200M）。 这表明了我们预训练方法的数据效率。

视觉任务适应基准（VTAB）。 除了ImageNet/ImageNetV2之外，我们还选择VTAB[46]进行评估。 表4总结了原始CLIP模型和我们的模型的零样本图像分类结果，使用了来自CLIP的相同的提示集。 我们的方法在大多数数据集上始终取得与CLIP相当或更好的性能。 例如，在3M、12M和100M的设置下，我们观察到平均准确率提高了5%以上。 即使扩展到200M，我们仍然保持了+1.91%的显著增益。 这些结果表明在不同数据分布下的零样本分类任务中具有强大的鲁棒性。 我们在图3中显示了性能增益随数据规模变化的整体趋势。

4.4跨规模的性能趋势

除了性能提升外，我们还在预训练中可视化了跨数据规模的性能趋势。 如图4所示，利用原始AltTexts的CLIP模型的性能随着数据量的增加而显著提高：虽然其在3M时的起点较低，但在12M和100M时却表现出快速进步。 然而，一旦规模超过1亿，性能趋势就会表现出逐渐趋于饱和的增长。 另一方面，VeCLIP使用VeCap，起始基线较高，与CLIP相比，在小型到中型规模（3M和12M）上有了显著的改进。 当我们超过3亿时，VeCLIP的性能提升变得相对渐进，但在检索任务中仍然显著。 CLIP和VeCLIP在扩展到1亿时都达到了饱和点：超过1亿后，性能提升变得缓慢且微不足道。

4.5与其他数据集互补以达到最先进的性能

我们的具有视觉丰富字幕的VeCap数据集也可以与其他精心策划的数据集互补。 例如，DFN[13]已显示出对CLIP的益处。 为了证明这一点，我们分别使用VeCap和DFN以及它们的组合来训练CLIP模型。 所有模型都在相同的学习率、最大步数等配置下进行训练。

我们在表5中总结了结果。 与DFN相比，来自VeCap的高质量描述性标题在检索任务中能够取得更好的结果。 然而，在分类任务上的性能较差。 在我们将DFN和VeCap结合起来进行训练后，CLIP在所有模型尺寸上都能取得最大的改进。

我们还训练了一个分辨率为336x336的H/14模型，并将其与MetaCLIP[42]和DFN[13]等最先进的模型进行了比较。 结果总结在表5的第6到8行。 尽管在不同的分辨率和方案上进行了训练，但使用VeCap+DFN的CLIP模型与其他模型兼容，并为下游任务提供了另一种选择。  ².

我们的带有DFN[13]的VeCLIP可以胜过具有不同主干的FLIP[22]和OpenAI CLIP（如附录中的表A10所示）。 具体来说，我们的ViT-H/14模型在ImageNet上取得了令人印象深刻的83.1%的准确率。 我们将合成数据（VeCap）与其他数据整理方法相结合的进一步研究留作未来的工作。

4.6消融研究

视觉增强概念的重要性。 与之前的改写方法不同，我们的主要重点在于融合从图像中提取的视觉增强概念。 消融实验结果总结在表 LABEL:table:ab_caption 中。 我们使用 3M/12M 作为示例，以展示在小型/中型规模下的性能提升。 原始 AltTexts 由于其噪声和有限的图像特异性信息，在检索任务中显示出其局限性。 从 LLaVA 生成的 VeC 可以提高检索任务的性能，但可能会损害 ImageNet 零样本任务的性能。 引入 VeCap 可以进一步改善所有设置下的 VeCap 性能。 令人感兴趣的是，零样本 ImageNet 结果仍然落后于原始 AltText。 本质上，我们的 VeCap 对检索能力产生了深远的影响，但对分类任务产生了负面影响。 我们认为这种现象源于以下两个原因：1) 从预训练到 ImageNet 零样本推理的提示中可能存在分布偏移，鉴于 VeCap 的扩展长度和增强的视觉内容，这一点尤其值得注意；2) LLM 使用相同的写作/释义风格来融合 VeCap 和 AltText，从而损害了数据多样性。

混合训练策略的重要性。 为了减轻上述问题，我们提出了一种混合训练方案，在 AltTexts 和 VeCap 之间交替进行训练，以便在预训练期间提供更多的数据多样性。 我们在表 LABEL:table:ab_mixed_captio 中总结了 VeCLIP 的消融实验结果。 首先，我们观察到，在多个 AltTexts 与一张图像关联的情况下，随机选择一个 AltText 会略微提高性能。 此实践增强了预训练期间的数据多样性。 其次，在AltText和VeCap之间进行互换被证明是有利的，这不仅保留了检索任务中大量的性能提升，而且显着提高了ImageNet上的零样本结果。 最后，在VeCLIP的混合训练方法中利用所有AltText和VeCap，几乎在所有设置下都能取得优异的结果。

更大的主干架构。 我们还研究了更大的主干架构，例如ViT-L/14和ViT-H/14。 详细结果可在表5和附录C.1中找到。 在主干大小上进行扩展的VeCLIP在所有下游任务中都能持续优于原始CLIP。 此外，更大的主干（ViT-L/14）与ViT-B/16相比，还可以实现高达5.87%的改进。 这些发现支持了VeCLIP在改进CLIP预训练方面的有效性，而不管具体的底层主干架构如何。

VeCap在精心策划的数据集上的泛化能力。 除了我们的WIT数据集外，我们还在精心策划的CC3M/CC12M上评估VeCap。 表LABEL:table:ab_mixed_captio显示，在CC3M上进行预训练的CLIP比在WIT-3M上进行预训练的CLIP性能更好，这表明高质量字幕对于预训练的重要性。 使用VeCap进一步提高CC3M字幕的质量，CLIP可以取得显著改进，因为CC3M的字幕质量高于我们嘈杂的WIT数据集。 使用其原始字幕的CC3M可以胜过我们使用AltText的WIT-3M的性能，这表明CC3M的质量更高。 VeCap可以在CC3M设置下显著改进CLIP，例如，在COCO的I2T任务上提高+18.16%，在ImageNet上提高+6.14%，这表明其在精心策划的数据集上的泛化能力。 更多结果见附录C.2。