RS DL
论文介绍
年份：2024
作者单位：南京理工大学，澳大利亚格里菲斯大学
创新点
状态空间模型用于高光谱图像去噪: 论文提出了SSUMamba模型，将状态空间模型 (SSM) 与空间-光谱连续扫描 (SSCS) 结合，充分利用了高光谱图像中的长距离空间-光谱相关性。
SSCS Mamba块: 采用了六种双向扫描方案（行-列-波段及其他组合）生成空间-光谱连续序列, 这种方案确保了更好的空间-光谱连续性和纹理保留。
更低的内存消耗: 与其他方法（尤其是基于Transformer的方法）相比，SSUMamba在捕捉长距离依赖的同时，设计上更加节省内存。
使用3D卷积: 在SSCS Mamba块中嵌入了3D卷积，用于建模局部空间-光谱相关性，增强局部特征建模，有助于保留图像纹理。
数据
1.训练数据
ICVL数据集 (Interdisciplinary Computational Vision Laboratory Dataset):
本文的模型使用了来自ICVL数据集的100幅高光谱图像进行训练。该数据集的高光谱图像由Specim PS Kappa DX4高光谱相机捕捉。图像分辨率为1392 × 1300像素，共包含31个光谱波段，波长范围为400到700纳米。数据预处理和增强: 这些高光谱图像在训练过程中被分割成64 × 64 × 31大小的图像块，使用了随机翻转、裁剪、缩放等数据增强方法以增加训练数据的多样性。
2. 测试数据
模型的性能在多个合成数据集和真实世界数据集上进行了测试，具体包括以下几个数据集：
ICVL测试集:包含了50幅高光谱图像，每幅图像的分辨率为512 × 512 × 31，这是用于测试与训练数据集相同来源的合成数据集。 Houston 2018高光谱图像 (HSI):该数据集由ITRES CASI高光谱成像仪捕捉，图像分辨率为1202 × 4172像素，共有48个光谱波段，波长范围为380到1050纳米。实验中排除了前两个受噪声污染的波段，并从高光谱图像中提取了一个512 × 512像素的子图像用于测试。 Pavia City Center HSI:该数据集由ROSIS传感器获取，波长范围为430到860纳米。实验中排除了前22个受噪声影响的波段，最终从高光谱图像中提取了一个200 × 200像素、包含80个波段的子图像。 Gaofen-5武汉HSI:一个真实世界数据集，由先进的高光谱成像仪（AHSI）在Gaofen-5卫星上拍摄，图像分辨率为300 × 300像素，共包含155个光谱波段。 Earth Observing-1 HSI:由Hyperion传感器获取的真实世界数据集，图像分辨率为1000 × 400像素，共有242个波段。实验中根据预处理步骤，去除了水吸收波段，最终用于实验的高光谱图像大小为400 × 200像素，包含166个波段。
方法
SSUMamba模型的整体架构
特征提取器: 从噪声图像中提取初始的空间-光谱特征，生成特征图。
编码器块: 利用下采样和3D卷积操作提取多尺度特征，进一步压缩图像信息。
SSCS Mamba块: 通过六种双向扫描机制处理特征图，捕捉空间-光谱的长距离相关性并建模局部特征。
解码器块: 对图像特征进行上采样，逐步恢复图像的高分辨率信息。
重构器: 使用3D卷积和残差连接将图像重建为去噪后的高光谱图像。
SSCS Mamba块
(1) 空间-光谱连续扫描 (SSCS)
扫描方案: SSCS Mamba块采用了六种双向扫描方案，包括行-列-波段 (Row-Column-Band, RCB)、行-波段-列 (Row-Band-Column, RBC)、列-行-波段 (Column-Row-Band, CRB)等。这些扫描方案通过交替使用，生成空间-光谱连续的序列。
扫描细节: SSCS扫描对输入的高光谱图像进行逐波段扫描，确保每一行、列和波段的相邻像素之间保持连续性，从而增强空间和光谱之间的依赖建模能力。
多向依赖: 在每个方向的扫描中，SSCS确保每个像素不仅依赖于其在空间邻域的像素，也依赖于其光谱邻域的像素，从而实现对长距离空间-光谱依赖的捕捉。
(2) 双向状态空间模型 (Bidirectional SSM)
双向扫描: SSCS Mamba块中的状态空间模型采用了双向扫描机制。它通过将生成的序列进行正反扫描，进一步增强对图像空间和光谱中长距离依赖关系的建模能力。每次扫描处理的方向都经过了优化，以确保信息不会丢失。
动态选择: SSM还集成了一个选择机制，即模型能够基于输入的特征动态调整参数，选择性地传播或忽略某些信息，这种机制可以避免噪声信息在去噪过程中被误传播。
(3) 残差块
局部特征建模: 残差块引入3D卷积操作来处理局部的空间-光谱相关性。它使用残差连接 (residual connection)，通过将输入与卷积输出进行叠加，确保局部特征在长距离建模的过程中不会被损失，同时增强了图像的纹理保留能力。
噪声建模和数据处理
考虑了两种主要噪声模式：
非独立同分布 (non-i.i.d.) 高斯噪声: 模型在不同标准差范围内测试了其去噪效果（例如σ ∈ [0, 15]、[0, 95]）。
混合噪声: 混合噪声包含非独立同分布高斯噪声、脉冲噪声、条纹噪声以及带状噪声的组合，旨在模拟真实世界中的多种噪声情况。
结果和精度
精度对比
可视对比
更多结果讨论图表可查看原文
欢迎关注CVPR/ECCV 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
