RS DL
论文介绍
题目：PSFormer: Pyramid Superpixel Transformer for Hyperspectral Image Classification
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/document/10695122
代码：https://github.com/immortal13
创新点
新的金字塔超像素Transformer（PSFormer）：使用渐进式超像素合并策略，通过多尺度超像素特征提取解决传统方法依赖小块HSI数据的问题。基于光谱注意层和门控机制的Transformer骨干网，能够高效利用局部和全局特征。 避免切片的学习框架：PSFormer不需要对HSI进行小块切割，能够直接从整体HSI数据中提取多尺度特征，提升分类精度和全局一致性。 模块优化：提出基于矩阵乘法的超像素合并和分解操作，降低计算成本，同时保留边界细节。使用光谱多头注意层（Spectral MSA），在光谱维度上捕获非局部依赖，复杂度为线性。
数据
基准数据集
Salinas (SA)
数据来源：由AVIRIS（Airborne Visible/Infrared Imaging Spectrometer）传感器采集。
数据特征：分辨率为3.7米，共有512×217像素，包含204个光谱波段。
分类类别：16类，包括“葡萄园”、“生菜”等不同地物类型。
训练与测试数据：每类随机选取30个样本用于训练，其余用于测试。
数据来源：由ROSIS（Reflective Optics System Imaging Spectrometer）传感器采集。
数据特征：分辨率为1.3米，共有610×340像素，包含103个光谱波段。
分类类别：9类，包括“树木”、“裸土”、“沥青”等地物类型。
训练与测试数据：每类随机选取30个样本用于训练，其余用于测试。
数据来源：由CASI（Compact Airborne Spectrographic Imager）传感器采集，数据来自2013年IEEE GRSS数据融合竞赛。
数据特征：分辨率为2.5米，共有349×1905像素，包含144个光谱波段。
分类类别：15类，包括“水体”、“建筑物”、“树木”等地物类型。
训练与测试数据：使用竞赛提供的空间不相交的训练和测试集。
无人机数据集
WHU-Hi-HongHu
场景：农业场景。
数据特征：高分辨率无人机数据，涵盖复杂的农业模式。
训练与测试数据：每类随机选取100个样本用于训练，其余用于测试。
QUH-Tangdaowan
场景：复杂湿地场景。
数据特征：高分辨率无人机数据，具有高度碎片化和复杂的湿地覆盖特征。
训练与测试数据：每类随机选取30个样本用于训练，其余用于测试。
方法
整体框架
预处理模块（Stem Module）负责将原始HSI数据转换为低级特征，减少冗余数据并统一特征维度。通过卷积操作和非线性激活函数提取基础特征。 PSFormer骨干网络（Backbone）由多个阶段组成，每个阶段包括超像素嵌入层和Transformer编码器层。使用渐进式超像素合并策略在每个阶段逐步降低特征的空间分辨率，保留边界细节并减少冗余信息。 分类头（Classification Head）利用门控机制自适应融合从多个阶段提取的多尺度特征。通过分层重要性权重整合高分辨率的细节特征和低分辨率的语义特征，从而提升分类性能。
模块功能
渐进式超像素合并策略 使用一种超像素分割算法，将图像划分为不同尺度的超像素层次（从精细到粗糙）。 在每个阶段合并邻近的超像素特征，从而逐步减少特征维度，避免了传统Transformer高计算成本的问题。 这种策略通过构建超像素金字塔，能够同时保留边界信息和多尺度特征。 光谱多头注意层（Spectral MSA Layer） 在Transformer编码器层中，通过光谱维度的注意机制捕获非局部信息。 相比传统空间维度的注意机制，光谱注意层降低了计算复杂度，并提升了全局上下文的建模能力。 多头注意机制使模型能够从多个视角学习光谱特征，增强分类表现。 分类头的门控机制（Gate Mechanism） 针对每个阶段生成的多尺度特征，计算其重要性权重，确保关键特征的优先利用。 低层特征包含高分辨率的细节信息（例如边界），高层特征则提供全局的语义信息。 通过门控机制，模型能够根据具体任务的需求自适应地分配特征的权重，实现多尺度信息的充分融合。
实验与分析
通过结合超像素分割、金字塔特征提取和Transformer机制，PSFormer在高光谱图像分类任务中实现了高精度、低复杂度和强泛化能力的平衡。
精度对比
可视化对比
更多图表分析可见原文
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
TGRS | U²ConvFormer: 复旦团队提出高光谱图像分类模型, 结合U-Net和Transformer
论文赏读 | ECCV24 | 为高光谱影像找到最好用的Transformer架构, HyTAS 架构搜索基准
论文赏读 | TIM | 高光谱和LiDAR 数据融合, 基于进阶光照的框架PID-HLfusion
论文赏读 | TGRS | HLMamba: 基于Mamba的高光谱和LiDAR数据联合分类
论文赏读 | TGRS | HI²D²FNet: 高光谱图像与LiDAR数据的融合和分类网络, 基于高光谱本征图像分解引导的模型
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
