题 目: Deep learning with multi-scale temporal hybrid structure for robust crop mapping
期 刊: ISPRS Journal of Photogrammetry and Remote Sensing
![]()
图1. 论文首页
频繁的云雨天气对使用光学影像进行大规模作物制图来说是重大挑战，现有深度学习模型通常从单一角度表示时间序列，不足以获得细粒度特征。同时，云层噪声对深度学习模型的影响尚不清晰。
近日，南京大学杜培军教授课题组在该方面取得了重要进展，研究团队提出了一种新型的多尺度时间Transformer-Conv模型（Ms-TTC），旨在提高在云遮挡频繁的条件下的作物大规模制图的精准性和鲁棒性。成果以Deep learning with multi-scale temporal hybrid structure for robust crop mapping为题发表在遥感领域顶刊ISPRS Journal of Photogrammetry and Remote Sensing，论文第一作者为南京大学和法国Université Grenoble Alpes联合培养博士生唐鹏飞，通讯作者为杜培军教授，主要合作者还有法国国家信息与自动化研究所的Jocelyn Chanussot教授。该成果为深度学习处理云噪声时间序列数据提供了新方法和见解。 农作物精准分类对于维护全球粮食安全至关重要。光学影像被广泛应用于农作物分类，然而由于受到云雨天气的限制，高质量光学影像的信息挖掘可能会变得异常困难。因此，如何有效地从密集的时序光学影像数据中提取对农作物分类有价值的时序信息，成为了当前遥感领域面临的一个重大挑战。针对上述挑战，本研究开发了一种新型的面向频繁云层下的农作物光学影像分类的深度学习模型。该模型集成了CNN和Transformer的各自优势，在大尺度、多年份、多云量、不同采样策略的数据集中测试其有效性和鲁棒性。
研究团队设计了一个具有多尺度时间混合结构的深度学习模型（Ms-TTC）。该模型(图2)主要有三个核心组件构成：（1）时序编码器：集成注意力机制与卷积优势，用于挖掘时间维度的全局与局部特征；（2）多尺度学习与融合层：引入空洞卷积层，学习在不同时间尺度上的特征并融合；（3）尺度调节输出层：融合高级时间序列特征和尺度调节后的特征。
研究同时构建了一个位于法国中部的密集时序农作物数据集，如图3所示。数据集包含2019和2020年共约200万个地块区域的地面实况数据。每个地块的输入时间序列数据由10个波段的70景Sentinel-2 Level-2A数据组成。
图3. FranceCrops数据集
通过与目前主流的用于农作物精细分类的网络进行对比，如表1所示。研究所提出的Ms-TTC模型在2020年的数据集上，OA领先其他模型2%-5%。相应地，mF1分数和kappa分数提高了 2%-8%。表1. 部分模型在2020年FranceCrops上的性能对比
为进一步评估模型在不同云量数据中的鲁棒性，使用云概率分数对原始Sentinel-2时间序列数据进行过滤，形成四个不同的数据集。采用直接训练和预训练两种方式进行精度评估，如图4所示。结果表明，直接训练的模型在不同云量下的mF1指标几乎不变，这表明深度学习模型对云噪声的抗干扰能力很强。使用在完整等间距采样数据集上预训练的模型，虽然性能出现一定程度的下降，但Ms-TTC表现仍优于其他方法。![]()
图4. 不同云概率分数数据集下的模型性能 。(a) 使用对应数据集训练模型；(b) 仅使用完整数据集训练模型研究评估了模型在2019年数据集上不同采样方式下的性能，如表2所示。这些实验共同表明，Ms-TTC模型具有很强的泛化能力。该模型能够在不同年份、时间分辨率和采样策略的数据集中保持较高的准确性和鲁棒性。表2. 不同模型在2019年数据集中不同采样策略的对比![]()
为探究深度学习在含云噪声数据的激活机理，研究引入了反向传播进行特征重要性分析，如图5所示。结果表明，深度学习模型对云有很强的抑制性。Ms-TTC模型能在有效的时序观测中建立连贯的特征，因而性能相较于其他模型更加优秀。 研究提出一种名为Ms-TTC的新型时间序列作物类型映射模型。Ms-TTC模型利用卷积和自注意机制的优势，在多个时间尺度上有效捕捉局部和全局的时间关系。精度评估结果表明，Ms-TTC模型优于最新模型，在不同年份、不同云量、不同采样方式下都有最优性能。基于反向传播的特征重要性分析进一步阐明Ms-TTC模型在提取时序特征方面表现出卓越的全局建模能力。Ms-TTC模型可利用注意力机制有效地创建重要的时间激活，并通过卷积结构形成多时间尺度短期趋势。该方法使模型能够从密集的时间序列中尽可能全面地捕捉复杂的时间关系。
Pengfei Tang, Jocelyn Chanussot, Shanchuan Guo, Wei Zhang, Lu Qie, Peng Zhang, Hong Fang, Peijun Du*. Deep learning with multi-scale temporal hybrid structure for robust crop mapping. ISPRS Journal of Photogrammetry and Remote Sensing, 2024, 209: 117-132. 全文链接：https://doi.org/10.1016/j.isprsjprs.2024.01.025
