点击名片 关注我们
标题
Title
期刊: IEEE Transactions on Geoscience and Remote Sensing
作者：Zhongyu Zhang , Xuanmei Fan, Xin Wang, Yingxiang Qin, and Junshi Xia
年份：2024
1
摘要
遥感图像变化检测对于灾害评估、土地利用变化和城市管理至关重要。然而，这些方法无法在保持较低计算复杂度的同时模拟全局依赖关系。本文提出了一种基于视觉 Mamba 的多尺度特征提取网络，可以高效地交互融合全局和局部信息，命名为 MF.VMamba（MF：multi-scale feature）。首先，使用基于 VMamba 的编码器从比特时空图像中提取多尺度语义特征。此外，我们还采用了基于大核卷积的多级注意力解码器（MAD）来获取空间和频谱维度的信息，以实现全局特征和局部特征之间的信息交互。经过这三个模块的连续处理后，变化对象的可辨别性得到了显著提高。在实验中，我们的方法在CDD、DSIFN-CD、LEVIR-CD和SYSU-CD数据集上表现良好，F1scores和OA分别达到95.69%/88.05%/90.64%/86.95%和98.97%/96.01%/99.07%/90.75%。
2
图表
图 2. 拟议的 MF-VMamba 概述。Xi、Yi 表示每个阶段的输出特性。
图 3. 特征增强模块（FEM）的具体结构。Xi、Yi 表示每个阶段的输出特征。
图 4. 整体网络结构图中的编码器和解码器部分。编码器部分主要基于 VMamba，分为四个分支、使用 VSS 块。解码器部分使用大核卷积（LKC），FEM 是特征增强模块。(a) 编码器。(b) 解码器。
图 5. CDD 数据集的定性比较。从（左）到（右）：T1 实例、T2 实例、地面实况、FC-EF [38]、FC-Siam-diff [38]、FC-Siamconc [38]、DTCDSCN [16]、BIT [25]、ChangeFormer [44]、ChangeMamba [29]、RS-Mamba [50]、MF-VMamba（我们的）。配色方案：白色代表 TP(即 "已更改"），黑色对应 TN（即 "未更改"），红色表示 FP，绿色表示 FN。
图 9. 不同模块中特征的可视化。FEM 表示特征增强模块。MAD 表示多级注意力解码器。T1、T2表示从 LEVIR-CD 数据集中选取的一对示例图像。
图 13. 模型参数和计算成本的比较LEVIR-CD 数据集上模型参数和计算成本的比较。气泡的位置由参数和 GFLOPs 决定，颜色深度由精度决定。
3
结论
本文提出了一种基于 VMamba 的多层次特征提取网络，用于遥感影像变化检测。MF-VMamba的核心思想是通过融合各尺度分支的全局和局部信息，建立长距离依赖关系，实现空间和通道维度的信息交互，从而提高变化检测的精度。MF-VMamba 的优势可归结为以下几个关键因素：结构创新：通过采用 VMamba，我们有效地降低了计算复杂度和内存使用量，这对于处理高分辨率遥感图像至关重要。大内核卷积的加入进一步实现了空间和信道信息的有效提取，从而在不影响性能的情况下减少了模型参数：特征融合机制：基于 VMamba 的编码器专门用于提取多尺度全局特征，而解码器则有助于融合这些特征，从而增强对图像中变化对象的检测。这种双重方法对于在不同数据集上实现高性能至关重要。
对未来研究的启示：我们的模型所取得的改进不仅标志着变化检测方法的进步，也为未来探索 Mamba 架构奠定了基础。我们鼓励研究人员以我们的研究成果为基础，尤其是在多尺度特征融合和注意力机制整合领域，以应对与复杂遥感图像相关的挑战。这些结果肯定了 MF-VMamba 在解决遥感数据固有复杂性方面的有效性。
4
参考文献
扫码关注，欢迎来稿
邮箱丨engeomodel@gmail.com
免责声明
本公众号推广所有论文，仅供学术交流，由于小编水平有限，摘要、图表均为原文内容，文字翻译部分仅代表小编个人理解，本公众号不具该原文的版权。在文献解读或作者简历介绍过程中如有疏漏，我们深表歉意，如涉及侵权问题或冒犯之处，请作者团队及时联系本公众号（邮箱），我们会在第一时间进行修改或删除，感谢您的谅解！
