多模态图像融合杀疯了！前脚CVPR24刚开拓了融合新范式，提出端到端自监督学习的模型EMMA，刷爆多项SOTA；后脚TPAMI24便又发表首个，能在空间域和频域同时处理融合问题的模型SFINet！
不仅如此，在ECCV、WACV、AAAI等顶会，也都有多篇，热度可见一斑！主要在于，它能将多种类型的图像数据或特征相互融合，在提高图像识别、处理任务准确性和效率方面效果拔群，且在自动驾驶、医学影像、人机交互等领域都有着广泛的应用。但其也面临数据不均衡、模型难对齐、信息丢失等挑战。因而对其的研究成为了迫切需求！
为让大家能够紧跟领域前沿，找到更多idea启发，我给大家准备了18种创新思路和源码，除前文所提，还涉及与Mamba、对比学习等技术结合、点云与图像直接融合等。
扫描下方二维码，回复「18多融」
免费获取全部论文合集及项目代码
A General Spatial-Frequency Learning Framework for Multimodal Image Fusion
内容：多模态图像融合的通用空间-频率学习框架是一种创新的技术，它通过结合不同模态图像的空间和频率域信息来提高融合图像的质量。这种框架的核心在于其能够同时在空间域和频域内处理图像融合问题，这是大多数现有方法所忽视的。该框架通过设计特定的网络结构，如SFINet，来实现这一目标。FINet包含三个关键组件：空间域信息分支、频率域信息分支和双域交域。空间域信息分支利用空间卷积装备的可逆神经操作符来整合不同模态在空间域中的局部信息。
Equivariant Multi-Modality Image Fusion
内容：论文介绍了一种名为EMMA（Equivariant Multi-Modality imAge fusion）的自监督学习框架，用于多模态图像融合。该框架基于自然成像响应对某些变换（如平移、旋转和反射）的等变性先验知识，通过融合模块、伪感知模块和等变融合模块，实现了无需地面真实融合数据的端到端学习。实验结果表明，EMMA在红外-可见光图像融合和医学图像融合中取得了高质量的融合结果，并促进了下游的多模态分割和检测任务。
扫描下方二维码，回复「18多融」
免费获取全部论文合集及项目代码
TransFusion: Multi-modal Fusion Network for Semantic Segmentation
内容：论文介绍了一个名为TransFusion的新型多模态融合网络，用于语义分割任务。该网络能够直接融合2D彩色图像和3D点云数据，而无需对点云进行损失性预处理，以生成3D体素或2D投影。TransFusion在Vaihingen和Potsdam数据集上的表现均优于使用图像和深度图的基线FCN模型，分别提高了4%和2%的mIoU（平均交并比）。实验结果表明，TransFusion能够有效地学习空间和结构信息，从而实现更好的推理性能。
CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion
内容：论文提出了一个名为CoCoNet的耦合对比学习网络，用于多模态图像融合，特别是红外和可见光图像的融合。该网络通过开发耦合对比约束和自适应学习权重，能够在端到端的方式下保留来自不同模态的典型特征，同时避免融合结果中的冗余或无效信息。CoCoNet还包含一个多级注意力模块，用于学习丰富的层次化特征表示，并在融合过程中全面传递特征。
MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion
内容：论文提出了一个基于Mamba的双相模型MambaDFuse，用于多模态图像融合。该模型通过双级特征提取器捕获单模态图像中的长距离特征，并利用双相特征融合模块结合不同模态的互补信息。MambaDFuse在红外-可见光图像融合和医学图像融合中取得了有前途的融合结果，并在统一基准测试中展示了在下游任务（如目标检测）中的性能提升。
扫描下方二维码，回复「18多融」
免费获取全部论文合集及项目代码
