点击上方蓝字关注我们
论文链接：
https://papers.neurips.cc/paper_files/paper/2023/file/c89f09849eb5af489abb122394ff0f0b-Paper-Conference.pdf
代码链接：
https://github.com/haihuangcode/CMG
简介
多模态表示学习中的现有方法更多地关注粗粒度对齐或依赖于来自不同模态的信息完全对齐的假设，然而，在现实场景中很难实现完全一致的信息对齐。 因此，作者提出一种称为跨模态泛化（CMG）的新任务，解决在预训练期间从成对多模态数据中学习统一离散表示的挑战。在下游任务中，当仅标记一种模态时，模型可以在其他模态中实现零样本泛化能力。 该模型称为Uni-Code，其中包含两个关键贡献：对偶跨模态信息解偶（DCID）模块和多模态指数移动平均（MM-EMA），以实现模态之间的双向监督，并在共享的离散潜在空间中对齐语义等有效信息，从而实现多模态序列的细粒度统一表示。在预训练过程中，文中研究了各种模态组合，包括视听、音频-文本以及视听-文本的三模态组合。在各种下游任务（即跨模态事件分类、定位、跨模态检索、基于查询的视频分割和跨数据集事件定位）的广泛实验证明了提出的方法的有效性。
研究动机
如图1所示，无约束视频中的视觉信息包括喵叫和狗吠事件，而音频信息包括女人说话和狗吠事件。直接应用以前的方法会导致缺乏共享语义的多模态信息的不准确映射。为了解决这一局限性，文中主要关注多模态序列的细粒度、统一表示的实现。从两个关键方面解决这个新问题：
1）跨不同模态提取具有相同语义的信息，同时减轻模态特定细节的影响；
2）使用统一的码本以共享语义表示这些不同的模态。之前的大多数工作主要关注第二个方面，而忽略了第一个方面的重要性，文中认为这对于实现跨模态泛化至关重要。
问题定义——跨模态泛化任务
给定一组成对的多模态数据 ，大小为 N，其中 A、B、C 等代表不同的模态，模态泛化（CMG）任务旨在在预训练阶段将这些不同的模态映射到统一的离散空间中，使离散的潜在代码能够在具有相同语义的不同模态之间共享。随后，在下游任务中，当只有一种模态（例如模态 A）有注释信息时，模型可以基于预训练过程中获得的共享离散空间将从 A 模态学到的知识转移到其他模态（例如模态 B 和 C）。训练以实现零样本泛化能力
统一表示学习
与之前简单地从成对模态中提取信息然后直接映射的工作不同，作者认为统一表示的成功在于提取模态不可知的语义特征。因此，从两个角度实现这一目标：首先，引入一个 DCID 模块，旨在提取细粒度的语义信息并将其与每个模态内相应的模态特定信息分开。其次，通过VQ-VAE将提取的语义特征压缩为离散变量，通过重构损失确保压缩后的离散变量仍然可以包含原始语义信息。为了简单起见，文中以两种方式为例来说明该过程。图 2 给出了所提出方法的框架。
对偶跨模态信息解偶
DCID 模块包含两部分：每个模态中模态不可知的语义特征和模态特定特征之间的互信息（MI） 最小化（CLUB），以及跨不同模态的模态不可知的语义特征之间的 MI 最大化（Cross-CPC）。
基于CLUB的MI最小化： 与尝试优化MI下界的方法（例如InfoNCE和MINE）相比，CLUB可以有效优化MI上界，在信息解偶方面表现出优越的优势。给定两个变量 x 和 y，CLUB 的目标函数定义为：
其中 是给定 x 的 y 的真实后验的变分近似，并且可以通过网络 θ 进行参数化。我们使用 CLUB 来优化语义特征 和模态特定特征 , 之间的 MI 上界，将 修改为时间版本：
预训练时，近似网络和主网络交替优化。最后，可以减少每种模态中语义信息和模态特定信息之间的相关性。然而，仅仅使用 CLUB 最小化互信息对模型识别相关语义特征提出了挑战。鉴于配对的多模态信息可以提供相互指导并充当彼此的监督信号，作者设计了Cross-CPC 方法来缓解这个问题。
Corss-CPC 实现 MI 最大化： 对比预测编码（CPC)可以通过使用自回归模型预测未来样本来最大化序列中相邻项目之间的互信息，已广泛应用于自监督学习。而对于人类来说，我们不仅可以根据当前的模态预测后续场景，还能够关联其他模态中可能发生的潜在情况。例如，人们可以根据当前观看的视频片段或阅读文本推断即将到来的听觉信息，或者通过感知音频部分来想象后续场景。受此启发，文中将 CPC 扩展到跨模态压缩预测。给定语义特征，K 个步骤的预测和随机时间矩 ，首先使用两个单层单向 LSTM 来总结所有 的信息并获得两个上下文表示为
对于模态 A，首先从模态 B 中选择一组 N-1 个随机负样本和一个正样本 的集合 ，然后使用 来预测模态 B 中的第 k 个未来步骤 ，并且模态 A 的 InfoNCE 损失可以优化为：
其中 是不同步骤 k 的线性投影矩阵。模态 B 的优化 反之亦然。在此基础上，可以通过细粒度的跨模态预测相互提取跨不同模态的具有相同语义的特征。
多模态指数移动平均
MM-EMA允许不同的模态迭代地充当师生并在量化过程中相互更新。首先，使用交叉注意力从相反模态中提取相关信息，以模态A为例：，其中是查询，是键和值。向量包含从 派生的语义信息，与 表现出很强的相关性，同时还保留了模态 B 的内在属性。因此，它可以作为 EMA 期间促进模态 A 与模态 B 对齐的中间程序。
给定一个码向量 ，可获得模态 的 个语义向量和模态 的 个语义向量，并量化为 :
承诺损失可以使用码向量（从 量化）作为教师，引导编码器不仅逼近 ，而且收敛到 与a一定的比例。在训练过程中，潜在空间中不同模态之间的距离逐渐减小。
训练和下游任务
预训练框架的全部目标是所有上述目标函数的组合：
其中是，促进模态之间的对齐。除 外，所有这些目标都整合了两种模态。经过训练，可以获得一个统一的离散潜在空间。
部分实验结果
该模型与最先进的方法在两个下游任务（跨模态事件分类和定位）上进行比较，所有这些模型都是使用视听模态在三种不同大小的数据集上进行预训练的。如表 1 所示，提出的方法在三种设置上可以优于所有以前的工作。基线结果表明，在没有任何约束的情况下，模型在预训练期间学习不同模态之间的对齐关系具有挑战性，导致下游任务的性能不佳。此外，实验结果还表明，在这种不受约束的视听对齐中仅采用这些最先进的方法具有相当大的局限性。然而，当与提出的 DCID 模块合并时，这些模型在下游任务中表现出显著的提升。这进一步表明文中提出的 DCID 可以有效地解耦不同模态的语义信息。
与之前只能将两种模态对齐在一起的工作相比，所提出方法可以解开并对齐三种模态的语义信息，如表3所示。从结果可以看出，删除这些模块将导致预训练模型在下游任务上的性能。但是，与两种模态的统一表示相比，去除这些模块导致模型性能的下降较小。文中认为原因是第三种模态的引入可以促进其他两种模态相互接近，并且在三种模态上预训练的模型的性能显著高于在两种模态上预训练的模型，这也说明这一点。
致谢作者，关于论文的详细实施过程和具体解释请阅读论文原文哦～❤️❤️
喜欢的话，请别忘记点赞👍➕关注哦
推荐阅读
ICML 2024重磅！GeminiFusion：高效逐像素多模态融合！引领Vision Transformer新纪元！
CVPR 2024｜拥抱单模态不确定性，实现稳健多模态融合！电子科大与同济等联手突破多模态技术瓶颈！
