点击上方蓝字关注我们
Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models
作者: Donggeun Kim, Taesup Kim
作者单位: 首尔大学
论文链接:
https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/11614.pdf
简介
多模态学习通常依赖于这样的假设：所有模态在训练和推理阶段都完全可用。然而，在现实场景中，由于各种因素，持续获取完整的多模态数据面临着巨大的挑战。这通常会导致模态缺失的问题，即缺少某些模态的数据，这不仅对多模态预训练模型的可用性造成了相当大的障碍，而且也对其微调和下游任务中鲁棒性的保持造成了相当大的障碍。为了应对这些挑战，提出了一种将单模态预训练模型的参数高效微调与自监督联合嵌入学习方法相结合的新框架。该框架使模型能够在推理过程中预测表示空间中缺失模态的嵌入。该方法通过及时调整，利用可用模态中的信息，有效地预测丢失的嵌入。在多个多模态基准数据集上和各种缺失模态的场景中的实验证明了其有效性和稳健性。
文中将多模态设置的问题定义如下：
假设存在预训练的单模态编码器；
为下游任务提供部分不配对的数据；
推理时也给出未配对的数据。
研究动机
多模态学习需要所有模态的完整性的假设很难维持，从而导致不成对的数据问题以及由此产生的模态缺失问题。而且，在某些情况下，获得在数亿个图像文本对上进行预训练的有效联合（多模态）编码器可能会变得具有挑战性。
获取单模态数据比获取多模态数据相对容易。预训练的单模态模型具有多种形式并表现出高性能，比多模态模型更容易获得。文中建议对每种模态使用独立预训练的单模态编码器。 该策略提供了相对更广泛的适用性，因为每个单模态编码器都可以使用大规模未标记数据的自监督学习进行有效训练。此外，它还受益于利用预训练期间获得的知识。
论文贡献
文中利用单模态预训练编码器并预测缺失模态的表示来解决缺失模态问题。论文贡献如下：
利用参数高效微调（PEFT）来最小化更新预训练的单模态编码器，同时最大限度地保留下游任务的知识。
采用方差-不变-协方差正则化（VICReg）的架构来提高不同模态之间嵌入的缺失模态问题的可预测性。
采用基于提示的方法从其他方式收集有效的任务相关信息。
实验证明该方法更加稳健和有效，在缺少模态的各种场景中的所有测试数据集和指标上都优于之前的研究。
方法
图 1：提出框架概述：利用单独的单模态编码器，将 PEFT 用于目标任务，并引入可训练的提示来有效预测缺失的模态特征，并使用注意掩蔽来保留输入的表示。在推理过程中，模型可以生成手头缺失模态的嵌入。
如图 1.(a) 和 (b) 所示，对于每种模态 ，文中假设给出了基于 Transformer 架构的预训练单模态编码器 ，分类器为定义在其表示之上。作者采用了一种简单的后期融合策略，整合来自每种模态的 pre-softmax logits。为了解决缺失模态带来的挑战，引入了特征预测器 ，旨在预测缺失模态的特征向量。此外，为了增强其预测能力，还采用了一组可训练的提示。基于此设置，目标是构建一个多模态模型，以应对训练和测试场景中不完整的多模态数据问题带来的挑战。
基于后期融合策略进行多模态分类
文中采用 BitFit 作为 PEFT 方法，冻结整个模型的所有参数，并在微调期间仅更新偏差项。基于此设置，将多模态分类损失 定义为多种模态上标准交叉熵分类损失的总和，如下所示：
其中 、 是模态不完整子集的损失， 是模态完整子集的损失。由于所提出框架基于后期融合策略，因此该方法能够与任何其他 PEFT 方法兼容，例如基于适配器的调整 或基于重新参数化的方法。
通过Prompt-Tuning进行缺失模态特征预测
在存在缺失模态的情况下，我们假设缺失模态的预测特征可以在推理过程中与可用模态的特征相结合，以增强预测性能，而不是仅使用现有模态的特征。因此，文中引入了一个特征预测器，使用一组可训练的提示 来有效地解决缺失模态的问题。每个模态 m 的输入数据定义为 ，相应的输出可以表示为：
基于VICReg用于预测嵌入同时防止嵌入崩溃的损失函数由三个组成部分组成。首先，方差项迫使批次内样本的嵌入向量不同。它涉及一个hinge损失函数，该函数沿批量维度维持嵌入的每个分量的标准偏差。其次，不变项是主要目标，在原始特征和预测特征之间计算的均方欧氏距离。最后，通过将嵌入的协方差矩阵中的非对角系数设置为零，合并协方差项以对嵌入的不同维度去相关。因此，特征预测 的损失函数是不变性、方差和协方差项的加权平均值：
此外，为了指导特征预测器生成适合下游任务的特征并增强分类器在缺失情况下的鲁棒性，文中引入了辅助分类损失 。这可以通过将预测特征 引入分类器并使用交叉熵损失对其进行优化来实现。它模拟缺失模态的情况，并确保预测的表示与下游任务有效地保持一致。综上所述，总体目标函数可以表示为：
实验结果
图 2 显示了完整训练设置下的性能，研究结果表明，使用单独的单模态编码器进行多模态学习也容易丢失模态。具体来说，在 MM-IMDb 和 Food-101 上，当少于 10% 的测试数据配对时，单模态基线的性能甚至比仅使用图像编码器训练的性能更差。然而，文中方法明显优于其他方法，尤其是当文本严重缺失时。图 2：完整训练设置下多模态分类数据集的性能。所有实验均使用 100% 文本和 100% 图像数据进行，并根据文本缺失率进行评估。虚线表示多模态模型，而实线表示单模态模型。
表 1：在 70% 缺失率的训练环境下获得的定量结果。表 1 显示了不同缺失场景下的性能，其中 70% 的模态缺失。每个训练配置都会在模态缺失的场景（如训练阶段）以及与训练场景不同的另外两种情况下进行评估（即测试配置）。当遇到明显偏离训练设置的缺失场景时，其他方法缺乏鲁棒性。例如，使用 30% 图像和 100% 文本样本训练的模型在缺失模态分布均匀的测试样本中表现出足够的性能。然而，当遇到 100% 图像和 30% 文本的样本时，它们的性能会显著下降。虽然单模态基线在训练和测试中缺失的模态一致的一些特定场景中优于文中方法，但它在这种条件下受到限制，并且容易受到不同缺失场景的影响。
致谢作者，关于论文的详细实施过程和具体解释请阅读论文原文哦～❤️❤️
喜欢的话，请别忘记点赞👍➕关注哦
推荐阅读
TPAMI 2024 ｜多模态学习最新综述！普林斯顿大学、武汉大学等从数据视角解读多模态学习
NeurIPS 2024|颠覆性发现！大型视觉-语言模型真的会“看”吗？MMStar基准揭示多模态评估误区与数据泄漏隐患
震撼发布！低质量多模态数据融合方法最新进展！天津大学携手顶尖高校推出重磅综述！
