全卷积深度神经网络可以提取丰富的细节信息和空间上下文信息，可有效提升高光谱遥感地物分类的精度。但训练全卷积网络通常需要大量成本高昂的逐像元标记数据，在实际应用中难以满足。高光谱遥感地物分类通常使用稀疏点标记，将其用于训练全卷积网络面临标记数量少、无法提供地物空间先验信息等难题。已有的基于稀疏点标记的全卷积网络训练方法采用整图训练模式，由于存储限制难以处理大幅面高光谱遥感数据，且训练效果受到样本稀疏程度的影响。
为此，南京大学高分辨率遥感实验室提出并验证了一种适用大幅面高光谱遥感地物分类的全卷积网络训练方法，基于稀疏点标记，以图像块为单元训练全卷积网络，突破了整图模式的训练思路。此外，设计轻量化全卷积网络（lightweight fully convolutional network，LFCNet）并利用正则化损失补充空间信息，充分挖掘并有效利用稀疏点标记提供的监督信息，提高了基于稀疏点训练方法的性能，为高光谱遥感地物分类提供一种新思路。
图1 基于图像块的训练流程图
图2 LFCNet网络结构
具体而言，首先将高光谱遥感图像切分成图像块用以训练模型，训练好的模型对图像块进行重叠预测并拼接得到完整结果。LFCNet在具有浅层通道的编码-解码结构的基础上，在编码部分加入残差连接，并集成多种注意力模块来充分挖掘遥感图像的空间和光谱信息，以应对稀疏点标记的有限先验信息。在训练阶段，采用正则化损失作为额外的损失约束，进一步挖掘遥感图像的空间信息。
使用三个高光谱遥感图像数据集进行验证，包括Wuhan UAV-borne（WHU-Hi）高光谱数据集（HanChuan和HongHu）和Pavia Center 高光谱数据集（PC）。研究结果表明所提出方法取得了SOTA的效果，对不同尺寸图像具有更高的鲁棒性和计算效率，证明了基于图像块训练全卷积网络对于高光谱遥感地物分类的有效性。
图3 LFCNet与其它方法精度对比（数据集为WHU-Hi-HanChuan）
图4 不同方法提取结果示意图
该研究成果近日以“Patch-based training of fully convolutional network for hyperspectral image classification with sparse point labels”为题发表于IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing。作者包括南京大学地理与海洋科学学院张学良副教授、硕士生郑子贤、肖鹏峰教授、博士生李振世和天地一体化信息技术国家重点实验室贺广均副研究员。该研究得到国家自然科学基金项目（42071297, 41871235, 41871326）和中央高校基本科研业务费（020914380095）资助。
