点击下方“PaperEveryday”,每天获得顶刊论文解读
点击加入论文投稿、写作、阅读分享交流群
论文信息
题目:A General Spatial-Frequency Learning Framework for Multimodal Image Fusion
多模态图像融合的通用空间-频率学习框架
作者:Man Zhou; Jie Huang; Keyu Yan; Danfeng Hong; Xiuping Jia; Jocelyn Chanussot; Chongyi Li
源码链接:https://github.com/manman1995/Awaresome-pansharpening
论文创新点
1 空间-频率信息集成网络(SFINet):首次提出在空间域和频域内同时处理多模态图像融合问题,通过结合局部空间信息和全局频率信息来增强模型的学习能力。 2 双域交互机制:提出了一种新颖的伪连拍特征融合机制,通过在帧间交换信息生成伪连拍特征,实现了不同模态间的灵活信息交换和互补表示学习。 3 边缘增强特征对齐模块(EBFA):开发了一种基于可变形卷积的边缘增强特征对齐技术,用于隐式地学习帧间对齐,提高了对齐精度并减少了由错位引起的误差。 4 改进的SFINet++版本:在原有SFINet的基础上,通过引入信息无损的可逆神经算子,进一步提升了空间信息的表示能力,从而在多模态图像融合任务中取得了更好的性能。
摘要
关键字
多模态图像融合 空间-频率信息 全景锐化 深度超分辨率
I. 引言
3 方法论
3.1 图像傅里叶变换
3.2 框架结构
3.3 提出的核心构建块
3.4 损失函数
4 全景锐化实验
4.1 实现
4.2 评估
4.3 比较
4.4 参数和模型性能分析
4.5 双域特征可视化
5 深度图像超分辨率实验
5.1 数据集和指标
5.2 实现
5.3 双三次下采样的实验结果
5.4 直接下采样的实验结果
5.5 深度图像超分辨率的双域特征可视化
6 消融研究
6.1 核心构建模块数量的影响
6.2 频率信息分支的有效性
6.3 可逆单元的有效性
6.4 频率损失的有效性
7 结论
声明
#论 文 推 广#
让你的论文工作被更多人看到
你是否有这样的苦恼:自己辛苦的论文工作,几乎没有任何的引用。为什么会这样?主要是自己的工作没有被更多的人了解。
计算机书童为各位推广自己的论文搭建一个平台,让更多的人了解自己的工作,同时促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人,在我们的平台上分享自己论文的介绍、解读等。
稿件基本要求:
• 文章确系个人论文的解读,未曾在公众号平台标记原创发表,
• 稿件建议以 markdown 格式撰写,文中配图要求图片清晰,无版权问题
投稿通道:
• 添加小编微信协商投稿事宜,备注:姓名-投稿
△长按添加 PaperEveryday 小编