深度学习在环境遥感领域的成就与挑战

各种形式的机器学习(ML)方法在以往的环境遥感研究中发挥了重要作用。随着地球观测的“大数据”数量的增加和机器学习的快速发展，越来越多的新方法出现在地球环境监测中。在过去的十年中，从传统神经网络(NN)发展而来的一个典型的、最先进的机器学习框架——深度学习(DL)，在性能上有了相当大的提高，超过了传统模型。本文将重点介绍深度学习在推进环境遥感进程中的应用。

图 1 Main outline of this work.

首先，本文将会分析深度学习在土地覆盖制图、环境参数检索、数据融合与降尺度、信息重构与预测等环境遥感领域的潜力。随后将重点综述深度学习在大气、植被、水文、大气和地表温度、蒸散发、太阳辐射和海洋颜色等方面的环境监测应用。最后，对挑战和未来展望进行全面分析和讨论。

由人为造成的地球环境的不断恶化已成为阻碍全球发展的首要问题。资源缺乏和环境恶化不再是特定区域独有的现象。近50年来，空间信息技术特别是卫星遥感技术为地球资源调查、局部和区域环境变化监测乃至全球变化研究提供了先进的探测和研究手段，具有宏观、全面、快速、动态、准确等优点。遥感数据主要用于基于物理模型的环境参数监测。虽然物理模型可以有效地表达从环境参数到遥感观测的形成过程，但这些模型在很大程度上依赖于模型参数的先验知识。由于物理过程的高度复杂性，这些先验知识往往具有很大的不确定性，并且在不同的时期和地区有所不同，这往往造成了环境遥感精度的局限性。

因此，各种形式的数据驱动机器学习（ML）方法在环境遥感中发挥着重要的作用。而近年来受到广泛关注的深度学习(Deep learning, DL)就是其中一种有潜力的工具。由于深度学习在特征表示方面具有强大的能力，目前已在土地覆盖制图、环境参数反演、数据融合与降尺度、信息重建与预测等环境遥感领域得到广泛应用。

深度学习能为环境遥感做些什么

从遥感图像中绘制的土地覆盖地图是依赖于图像分类的。但是传统的分类方法只涉及光谱和空间域的低层次特征，这时候如果想要区分复杂的土地结构就会很困难。因此深度学习就被引入到土地覆盖制图中，并因为它具有多尺度和多层次特征提取的能力，所以获得了很好的分类结果。在分类精度上有很大的优势，尤其是在复杂的城市区域。

环境参数的检索通常是通过物理模型来实现的，但是物理模型会涉及到很多参数，所以这个过程一般都很复杂。而且对于一些环境现象也还没有建立完善的物理模型。但是深度学习就可以模拟或简化用于环境参数检索的物理模型。而且还具有相当的模拟能力，简化了环境参数的检索过程，也可以有效地建立遥感观测与原位环境参数之间的统计关系。

数据融合是一种通过整合多源数据来提高空间、时间和光谱分辨率的有效方法。不同数据的融合表明不同输入数据之间建立的复杂时空光谱关系。这个过程类似于数据降尺度，在粗分辨率参数和高分辨率辅助数据之间建立了统计关联。所以数据融合和降尺度的关键问题是如何建立各种数据之间的关系，这正是深度学习比较擅长的地方。因为深度学习（DL）能够通过多层次学习捕捉遥感观测数据的抽象特征，并学习不同观测之间的潜在关联。因此，数据融合和降尺度的复杂关系可以用深度学习来全面表达。

在遥感数据中，我们经常会遇到因为各种原因导致的信息缺失问题。虽然针对不同的情况已经有了各种方法去重建这个数据中的缺失信息（比如说补隙、去云等等），但是大多数重建方法都是基于线性模型的，只能在有限的条件下使用。因为深度学习模型具有强大的非线性表示能力，卷积神经网络已成功应用于处理缺失数据的处理，并获得了很好的结果。这也表明了深度学习在遥感数据缺失信息重建和预测方面的潜力。

基本的深度学习框架

图 2 BPNN structure.

 BPNN是一种基本的神经网络。如图2所示，BPNN在一个输入层和一个输出层之间至少存在一个隐藏层，在每一层中可以找到几个节点或神经元。BPNN算法主要包括正向传播和反向传播，输入层的神经元依次通过每个隐藏层，最终到达输出层。如果在输出层中没有得到预期结果，则将误差反向传播，迭代更新每个隐藏层的神经元权重，最终使其最小化，由此得到的输出结果也会不断逼近真实值。

缺点：一方面，BPNN在训练过程中收敛缓慢；另一方面，BPNN对初始网络权值敏感，不同的初始权值可能会使模型收敛到不同的局部极小值。

图 3 GRNN structure.

GRNN是一种径向基神经网络的特殊类型，它通常包括输入层、模式层、求和层和输出层(图3)。每一层包含几个神经元。样本维数是输入层中神经元的数量。在模式层计算高斯函数，神经元的数量就是训练的样本数。求和层神经元分为两部分。第一个神经元输出模式层的算术和，其余k个节点输出模式层的加权和。标签的维度k是输出层中神经元的数量。

输出层中的每个神经元等于求和层对应的神经元除以求和层中的第一个神经元。具体来说，GRNN是一个完全的前向传播网络，训练过程不需要反向传播，又因为基于径向基函数，因此与BPNN相比，GRNN在收敛速度方面具有较大的优势。

图 4 AE structure.

AE 是深度学习的重要组成部分，分为编码器和解码器两部分。每一部分都可以看作是介于输入层和输出层之间的几个隐藏层。编码器将输入的高维样本数据降维以输出低维编码数据，适用于高维数据的压缩和解缠任务，可以以无监督的方式自主学习数据编码。AE在遥感领域的应用很少。然而，近年来一些采用AE模型的成功案例表明，AE模型具有良好的应用前景。现在已有研究用在地形图分类、地质灾害识别等领域。

图 5  DBN structure.

DBN是一种生成图形模型，也是深度学习的另一个重要组成部分。经典DBN包含多个受限玻尔兹曼机(restricted Boltzmann machine, RBM)，并以BP层结束(图5)。每个RBM包括一个可见层，然后是一个隐藏层。每一层包含一定数量的神经元。在训练过程中，对DBN进行逐层训练，每层的权值逐层固定，得到近似权值。最后，利用BP算法对各层权重进行微调，得到最终的DBN模型。与传统的神经网络模型(如BPNN)相比，DBN克服了加权参数随机初始化导致的局部最优和训练时间长等缺点。它只需要局部搜索参数空间，因此，收敛时间大大缩短。

图 6 CNN structure.

每个基本单元可能包括以下操作层：卷积层、池化层和激活层。在计算机视觉领域，CNN在目标识别任务和遥感领域显示出其重要而优异的功能。传统的神经网络相比，CNN放弃了全连接层，采用了局部连接。该方法减少了计算量，并充分利用了样本中的相对位置信息。与共享卷积核适合于高维数据的处理。然而，CNN也有一些缺点，比如需要大量的训练数据，计算成本高。

图 7 Structures of (a) RNN, (b) LSTM and (c) GRU.

图7里面介绍了RNN、LSTM和GRU，也就是递归神经网络（RNN）、长短期记忆(LSTM)和门控循环单元(GRU)，他们是一种可以处理序列，利用序列数据之间的相关性，甚至生成序列的模型。普通神经网络模型定义的一个先决条件是输入之间、输出之间和输入和输出样本之间具有独立性，但是在真实数据集中，如序列数据中，许多样本是相互关联的，传统的网络模型不能有效地处理这种相关性。这时候他们就可以用来解决这个问题。

RNN主要是解决短序列的问题，比如预测空气污染时间序列，对Sentinel-1多时段SAR数据进行农业分类研究LSTM是RNN的进阶版本，可以解决更长时间的序列问题，有学者用来做作物产量预测，也有学者将时空信息与LSTM相结合，提高了海面温度的预测精度。GRU是LSTM的优秀变体，其参数少得多，结构简单，但效果与LSTM相同，甚至更好。用于农业分类和作物分类的研究。

应用

土地覆盖在土地规划和管理以及环境分析和应用中起着重要的作用。深度学习近几年在土地覆盖分类中也得到了广泛的应用，并取得了较好的成果，但是目前用于深度模型训练的人工标记的土地覆盖数据集仍然不足以完成大多数任务。限制了深度学习在土地覆盖分类中的广泛实际应用。

人工神经网络和深度学习在植被参数检索方面优于传统的线性回归方法。但通常需要大量的训练样本。一些物理模型和经验模型可以模拟冠层反射率、后向散射信息和植被参数值，为建立数据集提供了相当大的便利。因此，许多研究集中在将物理和统计神经网络模型相结合来实现检索。然而，如何无损获取长时间序列真实的原位植被样本仍然是目前研究的一个难题。因此，基于神经网络和深度学习融合多源观测数据检索植被参数是一个有价值的方向。

目前，大多数方法通过在产量与影响因素(如天气、土壤条件、地形、疾病和植被生长条件)和人为因素(如灌溉和肥料管理)之间建立模型，在收获前几个月预测作物产量。在近期的研究当中，随着基于气象数据的遥感数据的加入，利用神经网络和深度学习预测作物产量的方法与传统方法相比有了很大的改进。但由于作物类型、地形、气候等因素的影响，预测模型的鲁棒性较弱。

图 8 Comparison of the annual daily maximum Ta map (unit：℃). (a) Assimilated Ta and (b) DBN-based Ta. The pixels in white indicate no data values.

地表温度和气温(Ta)是在相关环境研究和管理活动中发挥关键作用的重要参数，包括地表能量通量、气候变化、农业生产力、城市热岛监测和工业研究等等。然而，由于测量仪器有限、多云条件和传感器特性等问题，获得高时空分辨率的地表温度和气温通常是比较困难的。有学者通过构建各种神经网络模型检索到了精度较好的地表温度。还有学者通过深度学习技术估算了全国各地的每日气温，构建了五层DBN，有效建立了复杂的非线性物理关系，和传统模型相比可以显著提高模型精度。

神经网络在气溶胶反演和校正问题中得到了广泛使用，并取得了一些令人满意的结果，但深度学习在该问题中的应用却很少。与神经网络相比，深度学习具有更强的信息提取能力和更大的潜力，探索深度学习是一个很有前景的方向。

降水是全球水循环的基本组成部分，是气象学、生态学和水文学的重要参数。目前神经网络已成功地应用于卫星降水估算。与经典方法相比，经过训练的神经网络可以保持卫星测量的质量，提高计算速度。深度学习技术可以在降水估计中也可以达到最先进的性能。此外，融合多源卫星降水产品、雷达数据和测量站信息生成全球尺度的时空连续产品是一个有价值但具有挑战性的研究课题。

图 9 Schematic of the geo-intelligent DBN model for PM2.5 estimation.

图 10 Annual mean PM2.5 distribution of China in 2015. (a) satellite-derived PM2.5 and (b) ground-measured PM2.5 in China.

颗粒物是指与粉尘有关的空气污染物，可增加发病率和死亡率风险。比说PM2.5。基于卫星的深度学习模型一般侧重于PM2.5的空间估计。图9显示了该模型估算PM2.5的示意图。从图10我们也可以看出，基于DBN的PM2.5估计值与地面站测量值具有很高的一致性。

基于各种ML/DL技术，从不同的微波传感器和不同尺度上对土壤湿度的建模和检索进行了有效的研究。然而，深度学习技术必须考虑到土壤湿度在空间中的高度异质性，才能实现准确估计。这些技术还必须探索SM与反照率、土壤质地、地形、表面粗糙度和植被等所有相关参数之间的综合关系。考虑到模型误差和观测误差，基于深度学习的检索算法的不确定度评估有待进一步研究。

积雪是气候变化的信息指标，因为它可以影响地表能量平衡、水文过程和生态系统功能。在此基础上，雪深(SD)、雪水当量(SWE)等雪参数的准确估计对气候学和水文学研究具有重要意义。目前，人工神经网络已广泛应用于这些参数的估计中，有效地提高了这些积雪参数的估计精度。但是作者提出低分辨率的微波数据和高分辨率的光学遥感数据相结合，利用前者提供的与雪有关的重要信息以及后者更加精细的地表特征，再利用深度学习和人工神经网络模型可以提高对这些雪参数的整体估算准确性。

蒸散发对于水循环的研究有着关键作用。传统方法的一个主要限制是需要各种气象资料，而这些资料在许多地区是不可用的。因此很多学者引入了神经网络进行研究，得到了较好的结果，接着有其他学者开发并评估了一种基于深度学习的方法，该方法通过使用CNN生成空间分布的蒸散发估计。得到的结果表明，CNN模型可以估计出满意的蒸散发图。但深度学习技术在估计蒸散发方面仍处于初级发展阶段，还有很大潜力。

辐射参数是了解地表-大气能量交换过程和优化能源可持续利用系统不可或缺的组成部分。但是大多数地区提供的辐射数据却相对稀少。在以往的文献中，神经网络和深度学习方法以及卫星数据越来越受欢迎。目前已经提出了几种模型并有效地进行了精确的辐射估计和预报。但是必须考虑正确选择最相关的输入变量并提高精度。此外，还应进一步探索提高不同表面(如平铺面和倾斜面)的辐射估计精度。

海洋颜色遥感的本质是获取海洋颜色参数含量，并利用这些参数含量推导出净初级产量等各种生物地球化学成分。传统上用的是一些海洋颜色传感器进行观测检索。叶绿素浓度是最重要的海洋颜色数据产品之一，这种数据产品具有很大的不确定性，神经网络可以减少这些不确定性。如果使用深度学习技术进行海洋颜色参数的检索，由于测量某些参数作为样本数据或验证深度学习技术的鲁棒性和泛化能力的站点稀少和不足，限制了深度学习技术的应用。应进一步努力探索深度学习算法在海洋颜色遥感数据中的潜力。

讨论和建议

讨论：深度学习和物理模型使用的选择。

建议：将物理模型和深度学习模型进行结合；将地理规律融入深度学习架构中；将迁移学习和深度学习相结合。