点击上方蓝字关注我们
论文链接:
https://arxiv.org/pdf/2405.18014
简介
多模态融合的本质在于利用不同模态中固有的互补信息。然而，大多数流行的融合方法依赖于传统的神经架构，不足以捕捉跨模态交互的动态，特别是在存在复杂的模态内和模态间相关性的情况下。文中提出了耦合状态空间模型 (SSM)，用于耦合多种模态的状态链，同时保持模态内状态过程的独立性。具体而言，设计了一种模态间隐藏状态转换方案，其中当前状态取决于其自身链的状态以及前一时间步的相邻链的状态。为了完全遵循硬件感知的并行性，引入历史状态并推导状态方程来获得全局卷积核。在三个数据集上分别将F1-Score提高了0.4％，0.9％和2.3％，推理速度提高了49％，GPU内存节省了83.7％。结果表明，耦合Mamba模型能够增强多模态融合。
研究动机
现有的融合范式要么通过忽略个体模态内传播来将模态特定特征聚合为一个，要么通过监管将模态特定特征对齐到统一的表示空间中，但未能利用互补的模态间信息交换来实现对齐监督的困难。
最近，由 LSSL、S4、GSS 和 S4D 提出的状态空间模型使用状态变量来显式地模拟连续演化的神经状态，由于其在建模远程序列方面的效率，它成为 Transformer 引人注目的替代品。特别是，Mamba 通过选择性扫描机制和硬件感知并行性进行了改进，以实现非常高效的训练和推理，在大规模数据上实现与 Transformer 相当的性能。然而，现有的探索主要集中在处理单模态数据，而 SSM 的多模态融合机制仍有待研究。
方法
如图1所示，整个Coupled Mamba模型由N层组成，最终通过池化适配下游任务。每层都有 M 个耦合 Mamba 块，其中 M 是模态数量。每个耦合 Mamba 块接收多种模态的序列数据作为输入，聚合来自多种模态的状态，然后转换到每个单独模态的下一次状态。
用于多模态融合的耦合Mamba巴方法，通过引入多模态历史状态来进行多模态融合。如图2所示，它包含两个部分：状态耦合和状态空间模型。
Mamba
Mamba在S4的基础上引入了选择性机制，将原来的时不变特性进行了转换。 Mamba 基于连续系统的概念，通过引入隐藏状态 来映射一系列输入 以获得输出 ，其中 N 表示隐藏状态的数量。连续系统可表示为：
其中 表示系统的状态转移矩阵，, 为投影矩阵。 Mamba 使用时间尺度参数 Δ 将连续参数 A、B 离散化为 、，默认采用零阶保持（ZOH）原理。离散状态空间方程为：
然后是方程的离散化版本在步长为 Δ 的情况下可重写为：
最后，通过对逐层展开，可以得到全局卷积核，用K计算输出y，定义如下：
耦合状态转换
对于多模态数据输入，一种简单的方法是将多模态特征聚合为一个特征并使用单个 Mamba 模型进行处理。然而，这种方法忽略了模内传播。受耦合隐马尔可夫模型（CHMM）的启发，一个更优雅的解决方案是对互模态转移概率进行建模，如下所示：
其中 是从所有模态到当前模态 j 的概率转移矩阵。对于具有 M 个多模态输入的 SSM，我们有 M 个状态传播序列。与 CHMM 一致，可以通过将所有模态状态耦合来对模态 m 的状态转换进行建模：
其中 表示从模态 i 到 m 的状态转移矩阵。考虑到内存开销和计算效率，这种建模大大增加了参数数量和计算复杂度。文中提出了一种内存效率更高的方法，在状态转换之前进行求和，可以实现类似的性能并且效率更高。所以耦合SSM的形成是：
其中使用 来对状态求和后的整体状态转换进行建模。这种建模的一个小缺点是我们要求所有模态具有相同的状态，这可以通过使用投影层轻松解决。
并行性和效率分析
Mamba 与传统循环神经网络（RNN）的主要区别在于状态之间的转换不依赖于任何激活函数。这一特性使其能够通过迭代式（3）预先计算中间结果，从而实现并行计算。然而Coupled Mamba在Mamba的基础上增加了多模态状态信息，这给Mamba并行化算法的维护能力带来了新的挑战。为了解决这个问题，文中推导了适合Coupled Mamba的全局卷积核，保证Coupled Mamba能够继续享受Mamba并行计算带来的优势，从而有效提高模型的吞吐量和推理速度。
对进行反汇编，可得到如下结果：
根据上式可以推广到每个模态的状态信息，使用以下公式来计算输出:
由此，可以得到适合Coupled Mamba的全局卷积核:
全局卷积核可用于对序列数据进行卷积运算。在卷积运算中，每个卷积核和输入子区域的计算是相互独立的，允许不同卷积核或输入块的并行处理。
实验结果
致谢作者，转载请注明出处！关于论文的详细实施过程和具体解释请阅读论文原文哦～❤️❤️ /欢迎投稿
喜欢的话，请别忘记点赞👍➕关注哦
推荐阅读
ECCV 2024 | 破解多模态学习：单模态模型联合嵌入助力缺失模态预测新突破！
CVPR 2024｜拥抱单模态不确定性，实现稳健多模态融合！电子科大与同济等联手突破多模态技术瓶颈！
TPAMI 2024 ｜多模态学习最新综述！普林斯顿大学、武汉大学等从数据视角解读多模态学习
