点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
论文链接:
https://arxiv.org/pdf/2405.18014
简介
多模态融合的本质在于利用不同模态中固有的互补信息。然而，大多数流行的融合方法依赖于传统的神经架构，不足以捕捉跨模态交互的动态，特别是在存在复杂的模态内和模态间相关性的情况下。文中提出了耦合状态空间模型 (SSM)，用于耦合多种模态的状态链，同时保持模态内状态过程的独立性。具体而言，设计了一种模态间隐藏状态转换方案，其中当前状态取决于其自身链的状态以及前一时间步的相邻链的状态。为了完全遵循硬件感知的并行性，引入历史状态并推导状态方程来获得全局卷积核。在三个数据集上分别将F1-Score提高了0.4％，0.9％和2.3％，推理速度提高了49％，GPU内存节省了83.7％。结果表明，耦合Mamba模型能够增强多模态融合。
研究动机
现有的融合范式要么通过忽略个体模态内传播来将模态特定特征聚合为一个，要么通过监管将模态特定特征对齐到统一的表示空间中，但未能利用互补的模态间信息交换来实现对齐监督的困难。
最近，由 LSSL、S4、GSS 和 S4D 提出的状态空间模型使用状态变量来显式地模拟连续演化的神经状态，由于其在建模远程序列方面的效率，它成为 Transformer 引人注目的替代品。特别是，Mamba 通过选择性扫描机制和硬件感知并行性进行了改进，以实现非常高效的训练和推理，在大规模数据上实现与 Transformer 相当的性能。然而，现有的探索主要集中在处理单模态数据，而 SSM 的多模态融合机制仍有待研究。
方法
如图1所示，整个Coupled Mamba模型由N层组成，最终通过池化适配下游任务。每层都有 M 个耦合 Mamba 块，其中 M 是模态数量。每个耦合 Mamba 块接收多种模态的序列数据作为输入，聚合来自多种模态的状态，然后转换到每个单独模态的下一次状态。
用于多模态融合的耦合Mamba巴方法，通过引入多模态历史状态来进行多模态融合。如图2所示，它包含两个部分：状态耦合和状态空间模型。
Mamba
Mamba在S4的基础上引入了选择性机制，将原来的时不变特性进行了转换。Mamba 基于连续系统的概念，通过引入隐藏状态 来映射一系列输入 以获得输出 ，其中 N 表示隐藏状态的数量。连续系统可表示为：
其中 表示系统的状态转移矩阵，, 为投影矩阵。Mamba 使用时间尺度参数 Δ 将连续参数 A、B 离散化为 、，默认采用零阶保持（ZOH）原理。离散状态空间方程为：
然后是方程的离散化版本在步长为 Δ 的情况下可重写为：
最后，通过对逐层展开，可以得到全局卷积核，用K计算输出y，定义如下：
耦合状态转换
对于多模态数据输入，一种简单的方法是将多模态特征聚合为一个特征并使用单个 Mamba 模型进行处理。然而，这种方法忽略了模内传播。受耦合隐马尔可夫模型（CHMM）的启发，一个更优雅的解决方案是对互模态转移概率进行建模，如下所示：
其中 是从所有模态到当前模态 j 的概率转移矩阵。对于具有 M 个多模态输入的 SSM，我们有 M 个状态传播序列。与 CHMM 一致，可以通过将所有模态状态耦合来对模态 m 的状态转换进行建模：
其中 表示从模态 i 到 m 的状态转移矩阵。考虑到内存开销和计算效率，这种建模大大增加了参数数量和计算复杂度。文中提出了一种内存效率更高的方法，在状态转换之前进行求和，可以实现类似的性能并且效率更高。所以耦合SSM的形成是：
其中使用 来对状态求和后的整体状态转换进行建模。这种建模的一个小缺点是我们要求所有模态具有相同的状态，这可以通过使用投影层轻松解决。
并行性和效率分析
Mamba 与传统循环神经网络（RNN）的主要区别在于状态之间的转换不依赖于任何激活函数。这一特性使其能够通过迭代式（3）预先计算中间结果，从而实现并行计算。然而Coupled Mamba在Mamba的基础上增加了多模态状态信息，这给Mamba并行化算法的维护能力带来了新的挑战。为了解决这个问题，文中推导了适合Coupled Mamba的全局卷积核，保证Coupled Mamba能够继续享受Mamba并行计算带来的优势，从而有效提高模型的吞吐量和推理速度。
对进行反汇编，可得到如下结果：
根据上式可以推广到每个模态的状态信息，使用以下公式来计算输出:
由此，可以得到适合Coupled Mamba的全局卷积核:
全局卷积核可用于对序列数据进行卷积运算。在卷积运算中，每个卷积核和输入子区域的计算是相互独立的，允许不同卷积核或输入块的并行处理。
实验结果
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
