BLIP：用于统一视觉语言理解和生成的引导语言图像预训练

2.1视觉语言预训练

视觉语言预训练 (VLP) 旨在通过在大型图像文本对上预训练模型来提高下游视觉和语言任务的性能。 由于获取人工标注文本的成本过高， 大多数方法 (Chen 等人，2020; Li 等人，2020, 2021a; Wang 等人，2021; Radford 等人，2021) 使用从网络爬取的图像和替代文本对 (Sharma 等人，2018; Changpinyo 等人，2021; Jia 等人，2021)， 尽管使用了简单的基于规则的过滤器， 但网络文本中仍然存在噪声。 但是，噪声的负面影响在很大程度上被忽视了，被从扩大数据集获得的性能提升所掩盖。 我们的论文表明，嘈杂的网络文本对于视觉语言学习来说不是最优的， 并提出了 CapFilt，它以更有效的方式利用网络数据集。

已经有很多尝试将各种视觉和语言任务统一到一个框架中 (Zhou 等人，2020; Cho 等人，2021; Wang 等人，2021)。 最大的挑战是设计能够执行基于理解的任务 (e.g. 图像文本检索) 和基于生成的 任务 (e.g. 图像字幕) 的模型架构。 基于编码器的模型 (Li 等人，2021a，b；Radford 等人，2021) 和编码器-解码器模型 (Cho 等人，2021；Wang 等人，2021) 都无法在两种类型的任务中都表现出色， 而单一的统一编码器-解码器 (Zhou 等人，2020) 也限制了模型的能力。 我们提出的多模态编码器-解码器混合模型在各种下游任务上提供了更大的灵活性和更好的性能， 同时保持了预训练的简单性和效率。

2.2知识蒸馏

知识蒸馏 (KD) (Hinton 等人，2015) 的目标是通过从教师模型中蒸馏知识来提高学生模型的性能。 自蒸馏是 KD 的一种特殊情况，其中教师和学生的大小相等。 它已被证明对图像分类 (Xie 等人，2020) 有效， 最近也用于 VLP (Li 等人，2021a)。 与大多数现有的 KD 方法不同，这些方法只是强制要求学生与教师具有相同的类别预测， 我们提出的 CapFilt 可以被解释为在 VLP 环境中执行 KD 的更有效方法， 其中，字幕器通过语义丰富的合成字幕来蒸馏其知识， 而过滤器通过移除噪声字幕来蒸馏其知识。

2.3数据增强

虽然数据增强 (DA) 已被广泛应用于计算机视觉 (Shorten & Khoshgoftaar, 2019)， 但 DA 在语言任务中并不那么直接。 最近， 生成式语言模型已被用于为各种 NLP 任务合成示例 (Kumar 等人，2020；Anaby-Tavor 等人，2020；Puri 等人，2020；Yang 等人，2020)。 与这些专注于低资源语言任务的方法不同， 我们的方法展示了合成字幕在大型视觉语言预训练中的优势。

3.1模型架构

我们使用视觉 Transformer (Dosovitskiy 等人，2021) 作为我们的图像编码器， 它将输入图像分成多个补丁，并将其编码为一系列嵌入，并使用一个额外的 [CLS] 符元来表示全局图像特征。 与使用预训练的目标检测器进行视觉特征提取 (Chen 等人，2020) 相比， 使用 ViT 更便于计算，并且已被更近期的方法采用 (Li 等人，2021a; Kim 等人，2021)。

为了预训练一个具有理解和生成能力的统一模型， 我们提出了编码器-解码器 (MED) 的多模态混合， 这是一个多任务模型，可以在三种功能中的一种中运行：

(1) 单模态编码器，分别对图像和文本进行编码。 文本编码器与 BERT 相同 (Devlin 等人，2019)，其中将 [CLS] 标记附加到文本输入的开头以总结句子。

(2) 图像接地文本编码器，通过在文本编码器的每个 Transformer 块的自注意力 (SA) 层和前馈网络 (FFN) 之间插入一个额外的交叉注意力 (CA) 层来注入视觉信息。 将一个特定于任务的 [Encode] 标记附加到文本，并将 [Encode] 的输出嵌入用作图像-文本对的多模态表示。

(3) 图像接地文本解码器，用因果自注意力层替换图像接地文本编码器中的双向自注意力层。 一个 [Decode] 标记用于指示序列的开始，而一个序列结束标记用于指示其结束。

3.2预训练目标

我们在预训练期间联合优化三个目标， 其中两个是基于理解的目标，一个基于生成的目标。 每个图像-文本对只需要通过计算量更大的视觉 Transformer 进行一次前向传递， 并通过文本 Transformer 进行三次前向传递， 其中不同的功能被激活以计算下面所述的三个损失。

图像-文本对比损失 (ITC) 激活单模态编码器。 它旨在通过鼓励正图像-文本对具有相似的表示来与负对形成对比，从而对齐视觉 Transformer 和文本 Transformer 的特征空间。 它已被证明是提高视觉和语言理解的有效目标 (Radford 等人，2021; Li 等人，2021a)。 我们遵循 Li 等人 (2021a) 的 ITC 损失， 其中引入了动量编码器来生成特征， 并且从动量编码器创建软标签作为训练目标，以考虑负对中潜在的正样本。

图像-文本匹配损失 (ITM) 激活图像接地文本编码器。 它旨在学习图像-文本多模态表示，以捕获视觉和语言之间的细粒度对齐。 ITM 是一个二元分类任务， 其中模型使用 ITM 头（线性层）来预测给定其多模态特征的图像-文本对是正（匹配）还是负（不匹配）。 为了找到更有信息量的负样本， 我们采用 Li 等人（2021a） 的硬负样本挖掘策略， 其中在批次中具有更高对比相似性的负样本对更有可能被选中来计算损失。

语言建模损失 (LM) 激活图像基础文本解码器， 其目标是在给定图像的情况下生成文本描述。 它优化交叉熵损失，该损失以自回归的方式训练模型以最大化文本的可能性。 在计算损失时，我们应用 0.1 的标签平滑。 与在 VLP 中广泛使用的 MLM 损失相比， LM 使模型能够将视觉信息转换为连贯的标题，从而具有泛化能力。

为了在利用多任务学习的同时进行高效的预训练， 文本编码器和文本解码器共享除 SA 层之外的所有参数。 原因是编码和解码任务之间的差异最好由 SA 层来捕获。 特别是，编码器采用 双向 自注意力来为 当前 输入符元构建表示，而解码器采用 因果 自注意力来预测 下一个 符元。 另一方面，嵌入层、CA 层和 FFN 在编码和解码任务之间功能类似， 因此共享这些层可以提高训练效率，同时从多任务学习中获益，

3.3CapFilt

由于标注成本过高， 存在数量有限的高质量人工标注的图像-文本对 {(Ih,Th)}（例如，COCO (Lin et al., 2014)）。 最近的研究 (Li et al., 2021a; Wang et al., 2021) 利用从网络自动收集的大量图像和替代文本对 {(Iw,Tw)}。 但是，替代文本通常不能准确地描述图像的视觉内容，使其成为学习视觉-语言对齐的次优噪声信号。

我们提出了一种新的方法来提高文本语料库的质量，称为字幕和过滤（CapFilt）。 图 3 说明了 CapFilt。 它引入了两个模块：一个 字幕生成器，用于根据网络图像生成字幕， 以及一个 过滤器，用于删除噪声图像-文本对。 字幕生成器和过滤器都从同一个预训练的 MED 模型初始化， 并在 COCO 数据集上分别进行微调。 微调是一个轻量级的过程。

具体来说，  字幕生成器 是一个基于图像的文本解码器。 它使用 LM 目标进行微调，以便在给定图像的情况下解码文本。 给定网络图像 Iw，字幕生成器生成合成字幕 Ts，每张图像一个字幕。  过滤器 是一个基于图像的文本编码器。 它使用 ITC 和 ITM 目标进行微调，以学习文本是否与图像匹配。 过滤器会删除原始网络文本 Tw和合成文本 Ts中的噪声文本， 其中如果 ITM 头预测文本与图像不匹配，则该文本被认为是噪声文本。 最后， 我们将过滤后的图像-文本对与人工标注的对结合起来，形成一个新的数据集， 我们用它来预训练一个新模型。

4.1预训练细节

我们的模型是在 PyTorch (Paszke et al., 2019) 中实现的，并在两个 16-GPU 节点上进行预训练。 图像 Transformer 初始化自 ImageNet 上预训练的 ViT (Touvron et al., 2020; Dosovitskiy et al., 2021)， 文本 Transformer 初始化自 BERTbase(Devlin et al., 2019)。 我们探索了 ViT 的两个变体：ViT-B/16 和 ViT-L/16。 除非另有说明，否则本文中报告的所有结果均为“BLIP”，使用 ViT-B。 我们使用批量大小为 2880 (ViT-B) / 2400 (ViT-L) 对模型进行 20 个 epoch 的预训练。 我们使用 AdamW (Loshchilov & Hutter, 2017) 优化器，权重衰减为 0.05。 学习率被预热到 3e-4 (ViT-B) / 2e-4 (ViT-L)，并以 0.85 的速率线性衰减。 在预训练期间，我们对分辨率为 224×224 的图像进行随机裁剪，并在微调期间将图像分辨率提高到 384×384。 我们使用与 Li et al. (2021a) 相同的预训练数据集，共 1400 万张图像， 包括两个人工标注数据集（COCO 和 Visual Genome (Krishna et al., 2017)）， 以及三个网络数据集（概念字幕 (Changpinyo et al., 2021)，概念 12M (Changpinyo et al., 2021)，SBU 字幕 (Ordonez et al., 2011)）。 我们还实验了一个额外的网络数据集 LAION (Schuhmann et al., 2021)，其中包含 1.15 亿张图像，文本更嘈杂 ¹. 附录中提供了有关数据集的更多详细信息。

4.2CapFilt 的影响

在表 1 中，我们比较了在不同数据集上预训练的模型，以证明 CapFilt 对下游任务的有效性，包括图像-文本检索和图像字幕，以及微调和零样本设置。

当仅将标题器或过滤器应用于包含 1400 万张图像的数据集时，可以观察到性能提升。 当它们一起应用时，它们的效果相互补充，与使用原始噪声网页文本相比，产生了实质性的改进。

CapFilt 可以通过更大的数据集和更大的视觉主干进一步提高性能，这验证了它在数据大小和模型大小方面的可扩展性。 此外，通过使用带有 ViT-L 的大型标题器和过滤器，也可以提高基本模型的性能。

在图 4 中，我们展示了一些示例标题及其对应的图像，这些图像定性地展示了标题器生成新的文本描述的效果，以及过滤器从原始网页文本和合成文本中删除噪声标题的效果。 更多示例可以在附录中找到。

4.3多样性是合成标题的关键

在 CapFilt 中，我们使用核采样 (Holtzman 等人，2020) 来生成合成标题。 核采样是一种随机解码方法，其中每个符元都是从一组符元中采样的，这些符元的累积概率质量超过了一个阈值 p (p=0.9 在我们的实验中)。 在表 2 中，我们将它与束搜索进行比较，束搜索是一种确定性解码方法，旨在生成概率最高的标题。 核采样尽管由于过滤器更高的噪声率而更加嘈杂，但明显带来了更好的性能。 我们假设原因是核采样会生成更多样化和令人惊讶的标题，其中包含模型可以从中获益的更多新信息。 另一方面，束搜索往往会生成数据集中常见的安全标题，因此提供的额外知识较少。

4.4参数共享和解耦

在预训练期间，文本编码器和解码器共享所有参数，除了自注意力层。 在表 3 中， 我们评估了使用不同参数共享策略预训练的模型， 其中预训练是在 1400 万张图像上使用网页文本进行的。 结果表明， 除了 SA 之外，共享所有层比不共享会导致更好的性能， 同时还减小了模型的大小，从而提高了训练效率。 如果共享 SA 层，模型的性能将因编码任务和解码任务之间的冲突而下降。

在 CapFilt 期间， 字幕生成器和过滤器在 COCO 上分别进行端到端微调。 在表 4 中， 我们研究了字幕生成器和过滤器是否以与预训练相同的方式共享参数的影响。 下游任务的性能下降， 我们主要归因于 确认偏差。 由于参数共享， 字幕生成器生成的噪声字幕不太可能被过滤器过滤掉，如较低的噪声比（8% 比 25%）所示。

5.1图像-文本检索

我们在 COCO 和 Flickr30K (Plummer 等人，2015) 数据集上评估 BLIP 用于图像到文本检索 (TR) 和文本到图像检索 (IR)。 我们使用 ITC 和 ITM 损失对预训练模型进行微调。 为了实现更快的推理速度，我们遵循 Li 等人 (2021a)，首先根据图像-文本特征相似性选择 k 个候选者，然后根据它们的成对 ITM 分数重新排序所选候选者。 我们为 COCO 设置 k=256，为 Flickr30K 设置 k=128。

如表 5 所示，BLIP 与现有方法相比取得了显著的性能提升。 使用相同的 14M 预训练图像，BLIP 在 COCO 上的平均召回率@1 超过了之前的最佳模型 ALBEF +2.7%。 我们还通过直接将微调在 COCO 上的模型转移到 Flickr30K 来执行零样本检索。 结果如表 6 所示，其中 BLIP 也远远优于现有方法。

5.2图像字幕

我们考虑了两个用于图像字幕的数据集：NoCaps (Agrawal et al., 2019) 和 COCO， 这两个数据集都使用在 COCO 上使用 LM 损失微调的模型进行评估。 与 Wang et al. (2021) 类似， 我们在每个标题的开头添加了一个提示“一张图片”， 这导致了略微更好的结果。 如表 7 所示， 使用 1400 万张预训练图像的 BLIP 在使用类似数量的预训练数据的方法中表现明显优于其他方法。 使用 1.29 亿张图像的 BLIP 在性能上与使用 2 亿张图像的 LEMON 相当。 请注意，LEMON 需要一个计算量很大的预训练物体检测器和更高分辨率（800×1333）的输入图像， 这会导致推理时间比使用较低分辨率（384×384）输入图像的无检测器 BLIP 明显更慢。

5.3视觉问答 (VQA)

VQA (Antol et al., 2015) 需要模型根据图像和问题预测答案。 与将 VQA 构建为多答案分类任务(Chen 等人，2020；Li 等人，2020) 不同， 我们遵循Li 等人 (2021a) 的方法，将其视为答案生成任务， 这使得 VQA 可以进行开放式问答。 如图5(a) 所示， 在微调期间， 我们将预训练模型重新排列， 其中图像-问题首先被编码成多模态嵌入，然后传递给答案解码器。 VQA 模型使用 LM 损失和真实答案作为目标进行微调。

结果如表8 所示。 使用 1400 万张图像，BLIP 在测试集上比 ALBEF 提高了 +1.64%。 使用 1.29 亿张图像，BLIP 的性能优于 SimVLM，而 SimVLM 使用13×更多预训练数据和更大的视觉主干，并添加了一个卷积阶段。

5.4自然语言视觉推理 (NLVR²)

NLVR²(Suhr 等人，2019)要求模型预测句子是否描述了一对图像。 为了能够对两张图像进行推理， 我们对预训练模型进行了简单的修改，这使得该架构比以前的方法(Li 等人，2021a；Wang 等人，2021) 计算效率更高。 如图5(b) 所示， 对于图像基础文本编码器中的每个 Transformer 块， 都存在两个交叉注意力层来处理两个输入图像， 它们的输出被合并并馈送到 FFN。 两个 CA 层从相同的预训练权重初始化。 合并层在编码器的前 6 层执行简单的平均池化， 并在第 6-12 层执行连接，然后进行线性投影。 MLP 分类器应用于[Encode] 符元的输出嵌入。 如表8 所示， BLIP 的性能优于所有现有方法，除了 ALBEF，后者执行了额外的自定义预训练步骤。 有趣的是， NLVR² 上的性能并没有从额外的网络图像中获得太大好处， 这可能是由于网络数据和下游数据之间的领域差距。

5.5视觉对话 (VisDial)

VisDial (Das 等人，2017) 在自然的对话环境中扩展了 VQA， 其中模型需要根据图像-问题对来预测答案，还要考虑对话历史和图像的标题。 我们遵循判别式设置，其中模型对一组答案候选进行排序 (Gan 等人，2019；Wang 等人，2020；Murahari 等人，2020)。 如图 5(c) 所示， 我们将图像和标题嵌入连接起来， 并通过交叉注意力将它们传递到对话编码器。 对话编码器使用 ITM 损失进行训练，以区分给定整个对话历史和图像-标题嵌入的情况下，答案是真是假。 如表 9 所示， 我们的方法在 VisDial v1.0 验证集上取得了最先进的性能。

5.6零样本迁移到视频语言任务

我们的图像语言模型具有很强的泛化能力，可以应用于视频语言任务。 在表 10 和表 11 中， 我们执行零样本迁移到 文本到视频检索 和 视频问答， 我们分别直接评估在 COCO-检索和 VQA 上训练的模型。 为了处理视频输入， 我们对每个视频均匀地采样 n 帧（n=8 用于检索，n=16 用于问答）， 并将帧特征连接成一个单一的序列。 请注意，这种简单的方法忽略了所有时间信息。

尽管存在领域差异和缺乏时间建模， 我们的模型在视频语言任务上都取得了最先进的性能。 对于文本到视频检索， 零样本 BLIP 甚至在召回率@1 上比在目标视频数据集上微调的模型高出 +12.4%。 如果使用 BLIP 模型初始化具有时间建模的视频语言模型（e.g. 将我们的 ViT 替换为 TimeSformer (Bertasius et al., 2021)）并在视频数据上微调，则可以进一步提高性能。