点击下方“PaperEveryday”,每天获得顶刊论文解读
点击加入论文投稿、写作、阅读分享交流群 完整版论文中文解读PDF请加入知识星球获取
论文信息
题目:FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
FourierMamba: 傅里叶学习与状态空间模型结合的图像去雨
作者:Dong Li, Yidi Liu, Xueyang Fu, Senyan Xu, Zheng-Jun Zha
论文创新点
引入Mamba技术到傅里叶空间:本文首次将Mamba技术引入到傅里叶空间中,用于图像去雨任务。通过利用Mamba的选择性扫描机制,能够在傅里叶空间中有效地建模不同频率之间的相关性,从而提升去雨效果。
空间维度的Z字形扫描方法:在空间维度的傅里叶空间中,作者提出了一种基于Z字形编码的扫描方法,将频率从低频到高频重新排列,从而有序地关联频率之间的连接。
通道维度的Mamba频率关联:在通道维度的傅里叶空间中,由于频率顺序沿轴排列,作者直接使用Mamba进行频率关联,从而改善了通道信息表示并增强了通道上的全局特性。
多维度傅里叶空间扫描策略:本文提出了空间和通道维度的双重扫描策略,分别通过Z字形扫描和Mamba扫描,系统地关联了傅里叶空间中的频率信息。
摘要
图像去雨旨在从雨天的图像中去除雨条纹并恢复清晰的背景。目前,一些使用傅里叶变换的研究已被证明对图像去雨有效,因为它作为捕捉雨条纹的有效频率先验。然而,尽管图像中存在低频和高频的依赖关系,这些基于傅里叶的方法很少利用不同频率之间的相关性来结合其学习过程,限制了频率信息在图像去雨中的充分利用。最近出现的Mamba技术展示了其在多个领域(如空间、时间)中建模相关性的有效性和效率,作者认为将Mamba引入其未探索的傅里叶空间以关联不同频率将有助于改善图像去雨。这促使作者提出了一种名为FourierMamba的新框架,该框架在傅里叶空间中使用Mamba进行图像去雨。由于傅里叶空间中频率顺序的独特排列,FourierMamba的核心在于不同频率的扫描编码,其中低频-高频顺序在空间维度(轴上未排列)和通道维度(轴上排列)中表现出不同的格式。因此,作者设计了FourierMamba,通过不同的设计在空间和通道维度上关联傅里叶空间信息。具体来说,在空间维度的傅里叶空间中,作者引入了Z字形编码来扫描频率,将顺序从低频到高频重新排列,从而有序地关联频率之间的连接;在通道维度的傅里叶空间中,由于频率顺序在轴上已排列,作者可以直接使用Mamba进行频率关联并改善通道信息表示。大量实验表明,作者的方法在定性和定量上都优于最先进的方法。
关键字
图像去雨,傅里叶变换,状态空间模型,Mamba,频率相关性
FourierMamba
2.3.1 整体框架
2.3.2 傅里叶空间交互SSM
2.3.3 傅里叶通道演化SSM
2.3.4 优化
3. 实验
声明
#论 文 推 广#
让你的论文工作被更多人看到
你是否有这样的苦恼:自己辛苦的论文工作,几乎没有任何的引用。为什么会这样?主要是自己的工作没有被更多的人了解。
计算机书童为各位推广自己的论文搭建一个平台,让更多的人了解自己的工作,同时促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人,在我们的平台上分享自己论文的介绍、解读等。
稿件基本要求:
• 文章确系个人论文的解读,未曾在公众号平台标记原创发表,
• 稿件建议以 markdown 格式撰写,文中配图要求图片清晰,无版权问题
投稿通道:
• 添加小编微信协商投稿事宜,备注:姓名-投稿
△长按添加 PaperEveryday 小编