Nature Climate Change｜利用机器学习推动气候建模和分析的前沿发展
政务
2024-09-13 09:01
湖北
转自：地球平衡与稳态
气候建模和分析面临着增强预测和气候信息的新需求。在这里，我们认为现在是时候将机器学习的前沿推向最先进的方法之外了，不仅要开发保真度更高的基于机器学习的地球系统模型，还可以通过模拟器提供新功能，用于大型集合的极端事件预测、增强的极端事件检测和归因方法，以及先进的气候模型分析和基准测试。利用这种潜力需要解决关键的机器学习挑战，特别是泛化、不确定性量化、可解释的人工智能和因果关系。这种跨学科工作需要将机器学习和气候科学家聚集在一起，同时利用私营部门，以加快实现可操作的气候科学的进展。世界气候研究计划（World Climate Research Programme）的耦合模式比较项目（CMIP）） 汇集了多模式气候预测，以了解过去、现在和未来的气候变化。这些模拟是通过全球耦合地球系统模型 （ESM） 进行的，这些模型模拟了各种强迫下的物理气候以及生物地球化学循环，但仍然存在很大的不确定性，例如降水。这限制了模型在年代际和多年代际时间尺度上准确预测全球和区域气候变化以及气候变异性、极端事件及其对生态系统的影响的能力。此外，不断增长的数据量使得检测和理解可变性和极端事件的模式变得困难。新的机器学习 （ML） 方法有望在应对这些挑战方面具有巨大潜力。该研究重点关注气候建模和分析中的这些关键重大挑战，这些挑战可以通过 ML 得到实质性改进，并讨论了克服这些重大挑战所需的 ML 技术的基本进步，如图 1 所示。我们还就仍然存在的差距、机会和充满希望的未来方向提供了观点。我们认为，为了充分发挥机器学习在改进气候建模和分析方面的潜力，学术界和私营部门之间的合作将是必不可少的。ML 具有巨大的潜力，可以大大增强我们对地球系统的理解并减少气候预测中的不确定性。在本节中，我们讨论了使用 ML 可以显著增强气候建模和分析的关键方法，特别是混合地球系统建模、气候模型模拟的模拟、极端事件检测和归因以及气候模型分析和基准测试。将 ML 方法组合并集成到经典气候模型（即混合模型）中的方法 已被提出能够解决经典气候模型面临的许多长期存在的系统性偏差和挑战。混合 ESM 可以成为 CMIP 等计划不可或缺的一部分，并且可以如前所述增强所有规模的经典模型。对于大气，气候预估中最大的不确定性来源来自云、气溶胶及其相互作用的表示，仍然存在重大的结构偏差，例如降水模拟。计算技术的进步现在允许进行数月至数年的全球风暴解决模型模拟，但不是长达一个世纪的预测，而低层云和气溶胶将继续依赖于参数化来表示。在这种情况下，已经开发了基于 ML 的参数化，以表示由更高分辨率模型模拟模拟的亚网格尺度物理单元，包括随机参数化。混合建模在纠正偏差校正设置中未解决的大气过程引起的结构误差方面也取得了显著的成功，从而在一系列气候下产生稳定、准确的多年模拟。这些方法的几个挑战很早就被发现，例如气候外泛化能力差、与父模型的已解析动态交互导致的不稳定性、离线技能（测试集上的 ML 参数化性能）和在线技能（即混合模型性能）之间的差异以及违反保护法。此后，人们提出了针对其中几个问题的解决方案，包括基于架构的约束以确保守恒定律，结合对称性以提高泛化，耦合在线学习以防止不稳定和偏差、输入限制以提高稳定性，因果告知深度学习以尊重潜在的物理过程、数据驱动的方程式发现，以及使用迁移学习和气候不变输入来提高泛化。这些努力的结果非常有希望。例如，研究表明，粗尺度混合模式水生行星模拟可以准确表示高分辨率模拟所代表的热带辐合带和降水和净辐射的纬度模式。![]()
对于气候建模，仍然存在许多挑战，包括模型误差和分辨率的关系单元以及由于气候系统的内部可变性而导致的近期可预测性限制。使用 ML 对天气和气候模型进行仿真已证明具有加速解决这些挑战的潜力，因此已成为一个快速发展的领域。这些算法旨在以一小部分成本模拟基于物理的天气或气候模型。在很大程度上，这种加速是通过消除更高的空间分辨率需要更短的时间步长来控制求解完整运动方程的经典模型的数学条件而产生的。一些重要的应用是使用这些仿真器生成大规模天气预报和气候预测集成，以更好地捕获内部可变性。由于模拟的模拟数量比初始天气或气候预报模型大几个数量级，因此这在评估极端事件或非常罕见的事件（分布的第 1 个或第 99 个百分位数）时开辟了独特的视角，而天气预报或气候模型中的数十个集合成员通常无法捕获这些事件。使用仿真器生成的更大的集成有望捕获此类非常罕见的事件。使用这些基于仿真器的集成需要注意一些，尤其是与检查它们是否正确捕获仿真的混沌物理模型生成的分布有关。仿真器还可用于回答需要运行许多气候模型模拟的科学问题，因此在计算上是不可行的。应用包括极端事件演变或采样的表征单元以及区域尺度事件的模拟单元。同样，在这种情况下，需要注意系统地检查仿真器是否同时尊重主机物理模型的物理响应和统计信息。气候模型和观测数据超越了模拟，使用一种称为迁移学习的技术以最佳方式融合在一起，以更好地预测厄尔尼诺现象或更好地预测气候变化。迁移学习可以通过减少系统误差和增加与近期气候记录中关键可观测数据的相关性，提高从过去到未来的气候预测和预测的准确性。低可能性高影响 （LLHI） 极端事件是一类现象，其中重大和负面社会和环境影响的高但未知风险与不一致的证据和关于 LLHI 在全球变暖下将如何演变的有限共识不匹配。减少 LLHI 在温暖气候中如何变化的不确定性的两个主要障碍是需要客观而快速地搜索 PB 级的气候模型预测，同时协调检测这些极端事件的高度多样化的方法。ML 在应对这些挑战方面表现出相当大的前景。深度学习方法使训练算法能够以百万亿次级的速度查找和跟踪气候模型输出中的极端事件和 ML 方法已成功用于研究各种恶劣天气。此外，可以使用用马尔可夫链蒙特卡洛校准的无阈值贝叶斯检测方法生成 LLHI 演变的预测以及可量化和客观的不确定性测量。使用人类专家标记的热带气旋、大气河流和天气锋面数据集，在气候模型输出中结合深层和 CNN。拓扑数据分析与支持向量机相结合，提供了一种无阈值的方法，用于在广泛的水平分辨率和气候情景下生成的气候预测中识别大气河流。飓风等持续现象可以使用卷积长短期记忆方法轻松准确地跟踪。ML 还可以深入了解极端现象的物理驱动因素，以及这些驱动因素在未来的预测中将如何变化。此外，深度学习方法的某些应用已经显示出从当前气候条件推广到未来气候条件的能力，前提是执行广泛的超参数网格搜索以找到合适的模型超参数。成功证明物理机制可以从数据中学习，而不是从规定中学习，包括对极端降水环流模式和强烈旋转雷暴的分析。ML 算法还被用于模拟经典的降尺度方法，以提高气候模型模拟的水平空间分辨率。ML 方法显示出巨大的潜力，可以大大加快对温暖气候中极端事件的预测。最近的应用包括热浪预测和干旱。这些方法有助于解决涉及 LLHI 的几个长期挑战，包括从持续时间不足的观测和气候模型模拟中对 LLHI 进行采样的困难，以及预测涉及 ESM 中分辨率不足或高度参数化的物理过程的 LLHI 的偏差。基于 ML 的参数化在尚未在线耦合到宿主 ESM 中，而是在高分辨率模型数据上离线训练、验证和测试的评估中表现良好，当在气候模型中在线耦合时，可能会表现出令人惊讶的失效模式。这一切都需要仔细测试。地球系统模型评估工具 （ESMValTool） 有助于根据地球观测和其他气候模型评估基于 ML 的在线气候模型模拟。此外，随着用于气候建模的 ML 工作的成熟，社区已经认识到越来越需要开发指标、数据集和工具，以更严格和一致的方式对 ML 性能进行基准测试单元。另一种方法是以数据为中心的 AI，它侧重于如何通过确定提高训练数据的质量和多样性的方法来改进 ML 结果。在分析方面，根据网格点时间序列的统计相关性重建的气候网络已与信息论的措施一起使用，以检测气候数据中的隐藏结构。ML 已经开始展示其通过应用因果推理、XAI、非线性多变量紧急约束和开发更有针对性的模型评估观测产品来增强气候模型分析的巨大潜力。因果发现算法学习超越传统相关和回归方法的因果依赖关系。因果模型评估将从观测数据中学习的因果依赖关系与从气候模型中学习的因果依赖关系进行比较，从而增强面向过程的模型评估。XAI 可用于从图像中识别与基于物理的过程相关的原型行为，用于地球系统科学应用，从而为模型评估提供一种新的方法。ML 方法还被用于限制基于过程分析和因果发现的多模型预测中的不确定性或者结合全球尺度的紧急约束以减少区域尺度的不确定性，这通常与政策制定者更相关。此外，基于非线性降维和变分自动编码器的基于 ML 的方法可以帮助评估数据密集型高分辨率仿真。如上一节所述，使用 ML 解决气候建模和分析中的关键挑战不仅受益于当前 ML 方法的应用，而且还需要解决所有这些不同应用程序共同面临的 ML 方法开发中的几个挑战。在本节中，我们重点介绍了最近取得突破的四个 ML 挑战，但需要做更多的工作才能充分发挥潜力。这尤其需要在物理一致性和泛化、不确定性量化、可解释的人工智能和因果推理方面取得进一步进展。物理模型设计为在各种制度下有效，而 ML 模型通常经过训练以最适合特定的训练集。因此，ML 模型在对分布外样本进行测试时可能会做出不一致的预测，例如温暖的气候。在降低基于 ML 的推理质量对数据变化的敏感性方面取得了显著进展，这通常称为稳健性。可以使用自定义损失来提高异常值和极值的性能，这些损失在不影响均值预测的情况下对极值进行更加权。或使用极值理论对数据进行归一化的自定义框架。可以使用自定义损失来提高物理一致性，从而惩罚物理不一致的预测或严格执行物理约束的架构单元。总体而言，尽管提高稳健性取决于应用程序，但我们鼓励对样本外测试进行分布外测试，这些测试在训练数据方面仍然独立且分布相同，并尽可能解决数据中的非平稳性，并考虑进行测试以询问 ML 模型是否可以正确预测因果干预。将稳健性测试作为天气和气候基准数据集的标准组成部分将有助于在不同情况下建立最通用的 ML 框架，为它们在气候科学中的常规使用铺平道路。ML 领域需要解决的另一个挑战是 ML 模型预测性能的不确定性量化。由于 ML 模型本身的选择及其预测的可变性，例如，由于用于训练的随机梯度下降方法，会出现系统不确定性。由于用于训练的数据中的噪声，并且预测变量的选择是地球系统的不完整表示，因此也存在随机（统计）不确定性。因此，即使是地球系统的最佳模型也无法产生明确的预测。然而，随机不确定性和系统不确定性并不是互斥的，可以结合起来解决数据稀疏性和分布外泛化问题。众所周知，单独的深度神经网络并不能提供不确定性估计，并且往往会产生过于自信的预测。因此，不确定性量化越来越受到 ML 的兴趣。深度学习中大致有两种类型的不确定性量化方法。第一个侧重于鲁棒性，方法是在训练或自举以近似父分布期间采用参数化分布来描述随机不确定性采样对损失最小化过程的解决方案。通过深度集成在初始化中对推理过程进行扰动、通过 Monte Carlo dropout 的神经网络权重和数据集。另一种类型是贝叶斯，例如变分自动编码器，该策略旨在对给定数据的连接权重的后验置信进行建模。贝叶斯方法通常在均值预测方面更稳健，而从频率主义方法获得的置信水平对数据变化的覆盖范围更广。不确定性量化为天气和气候预测带来了独特的挑战。对于天气预报，集成预报已经取得了很大进展，从而提高了预报技能和更可靠的概率估计。对于气候预测，尽管多模式集合努力量化系统不确定性，但系统的多尺度性质及其内部可变性使得生成和验证可靠的不确定性估计和风险评估变得具有挑战性。深度学习还被用于创建集成预报，包括用于中期天气系统的预报，通常通过 Monte Carlo dropout81或深度融合。具体来说，通过改变 dropout 单元或训练数据来训练多个深度学习模型，然后联合生成预测。最近，深度生成模型也被用于概率预测。深度学习仿真器支持的加速推理原则上可以使非常大的集合量化由于天气预报的自然变化以及气候预测中的不确定性。尽管大多数 ML 技术以前都被视为“黑匣子”，但 XAI 方法有可能通过帮助科学家确定 ML 方法是否出于正确的原因获得正确的答案，从而改变这些工具在气候科学中的看法和使用方式。XAI 方法开始更频繁地出现在 ML 气候研究中，包括用于识别气候系统内的可预测性来源以及分析气候变化的物理影响。XAI 方法可用于确保神经网络模型与气候系统的真实动力学在物理上保持一致。这种模型解释和可视化可以帮助 ML 方法捕获问题的物理显著方面，在训练数据的限制内运行，并帮助识别新的科学假设。例如，可以利用神经网络及其可解释性工具来识别组合场中强制信号的模式。XAI 可以识别哪些海洋海面温度异常模式导致可预测性的最大收益。最初为图像分类训练的 XAI 方法的适用性现在正在气候预测任务中进行测试。对 XAI 方法选择及其具体参数的敏感性仍在解决中。此外，XAI 方法是事后应用于其他黑盒模型，因此，从 XAI 获得对 ML 算法决策过程的见解需要简化模型本身。.因此，作为替代方案，科学家应该考虑开发可解释的模型，这些模型旨在将决策过程明确地纳入其结构中，以便人类无需事后方法即可完全理解。标准 ML 方法（包括深度学习）擅长从复杂的大规模数据集中学习高度非线性的统计关系，并越来越多地应用于地球和环境科学。然而，气候科学的研究问题往往是关于因果关系的，而不是纯粹的统计关联。因果推理为利用关于底层系统的假设来回答数据中的因果问题提供了理论基础。因果推理的两个主要方面是因果发现，其目标是从数据中学习定性因果图，以及因果效应估计，其中以图表的形式假设定性因果知识，然后量化假设干预的效果，例如，通过使用因果知情的 ML 模型。因此，因果推理很好地补充了 ML。因果方法已在气候科学的各种环境中采用。因果推理目前用于解决气候建模和分析中的两个主要挑战。首先，因果模型可以为混合建模中的子网格尺度参数化提供信息，以更好地尊重 ML 模型中的底层物理过程，这对于模拟气候变化至关重要。为此，因果发现可以执行该操作以从高分辨率模型或观测数据估计因果图。然后，这些定性信息可以帮助选择要包含在基于 ML 的参数化中的输入变量，这是特征选择的一种正式方式。其次，因果推理可用于评估和比较 CMIP 等项目的气候模型输出，可能对减少气候预测的不确定性产生影响。这里的方法是将因果图与观测数据和模型输出分开学习，然后利用图形比较指标来确定哪些物理模型更好地模拟从观测中学到的因果关系。也可以直接假设一个因果图并比较估计的因果效应。超越纯 ML 方法共同面临的统计挑战，例如处理高维和空间相关数据，因果推理方法的优势和挑战在于对有关底层系统的专业知识的依赖，从隐藏混杂因素的存在和跨时间尺度发生的非线性过程的复杂性，到定义感兴趣的因果变量的基本但通常具有挑战性的问题或者在粗粒度时可能丢失因果关系。更具体地说，因果推理中的关键挑战，需要先进的方法开发，与这些方法通常所依赖的假设有关：（1） 数据是从因果静止过程中生成的，而在实践中许多现实世界的过程是非平稳的;（2） 数据生成因果模型是非循环的，这很可能不是真的，尤其是在存在反馈循环的情况下;（3） 相互依存关系不是巧合，而是结构性的，违反这一假设可能会导致错误的结论。应对这些挑战需要方法开发人员和领域专家之间的密切合作，以定义假设并将其纳入因果方法，并开发基准来评估基于真实数据的方法。如果能够应对这些挑战，因果方法的主要优势在于对因果图的直观解释、它们陈述假设的透明方式以及它们获得更好的分布外性能的潜力，这增加了气候变化预测的可信度。创新的机器学习方法正在迅速提供新的变革性方法来建模和预测气候变化，以及从海量数据中提取信息。鉴于 IPCC 第七轮评估周期的开始和 CMIP7 的启动，这些都是及时的话题。尽管 CMIP7 的贡献肯定无法及时发挥混合建模的全部潜力，但一些原理验证混合 ESM 很可能已经准备好参与其中。这可能包括将物理或经验参数化的子集替换为基于 ML 的参数化的模型，例如云覆盖和对流。CMIP 的结构是这样的，任何可以执行 DECK（Klima 的诊断、评估和表征）和 CMIP 历史模拟的气候模型都可以为 CMIP（参考1).即将推出的 CMIP7 集成可以从这些发展中受益，包括一些首批基于 ML 的混合 ESM，但也受益于使用新兴的 ML 技术，例如不确定性量化、XAI 和因果推理，以解释这些模型的模拟与地球观测的比较。将基于 ML 的混合 ESM 类别与经典气候模型进行基准测试以评估潜在的改进，并利用基于 ML 的非线性多变量和迁移学习与其他方法相结合来限制地球观测气候预测中的不确定性，这一点非常重要。ML 通过从高分辨率模拟和地球观测中学习重要的亚网格尺度过程，产生稳定的多年模拟，系统误差小，显示出改进 ESM 的巨大潜力。然而，正如我们在本观点中所讨论的那样，需要通过引入气候不变变量、物理约束或方程发现，以及进一步开发一些主要的 ML 挑战，包括 XAI、不确定性量化和因果关系，进一步提高 ML 模型的信任度和泛化性。模拟器的提高速度和保真度将能够创建巨大的后报和预测集成。对看似合理但违反事实的气候进行前所未有的采样可能会改变我们对 LLHI 极端事件的驱动因素和后果的理解。在用基于 ML 的参数化替换数值模型组件或参数化时，耦合模型模拟的稳定性，以及耦合模型技能和预测能力的提高，是我们预计随着 ML for climate 作为一个领域不断发展而至关重要的基准活动。为了维持这个快速发展的领域，不同的社区需要共同努力。只有使用跨学科方法才能充分发挥 ML 在气候建模和使用 ML 进行分析方面的潜力，其中气候科学界与 ML 界密切合作。除了这种合作之外，这将要求学术界和私营部门之间认真对待新的合作机会。随着 ML 社区越来越意识到算法在与社会相关的气候和地球系统研究中的潜力，大型科技公司越来越有兴趣通过与气候科学家进行跨学科研究来将其能力应用于气候，这些科学家要么直接受雇，要么在学术界合作。私营部门的研究也可能是开发计算效率更高、可扩展性更强的气候模型以及地球数字孪生发展的重要元素，数字孪生被定义为“一个信息系统，它使用户接触到受可用观测和物理定律约束的地球系统状态和时间演变的数字复制”。随着这些应用冒险进入看不见的气候领域，学术领域专家的意见将变得越来越重要，为共同努力推动气候科学的前沿发展开辟了新的机会。使用 ML 更好地理解、建模和预测地球系统是一个具有挑战性但前景广阔的研究领域，在过去 5 年中取得了更快的进展。额外的研究工作可能会对推动科学发展和解决对社会至关重要和高度相关的主题产生重大影响。这些主题包括需要对近期全球环境变化进行更可靠和本地化的预测，以及预测缓解正在调查的这种变化的许多选项。正如本观点中所讨论的，随着基于 ML 的气候建模和分析能力的增强，我们可以期待地球系统科学的实质性进步，以加速科学理解、建模以及将气候变化预测为迫切需要的可操作气候科学。Eyring, V., Collins, W.D., Gentine, P. et al. Pushing the frontiers in climate modelling and analysis with machine learning. Nat. Clim. Chang. 14, 916–928 (2024).【知识转载，翻译难免有误，详细查看原文，侵权联系删除】投稿、转载、合作、申请入群可在后台留言（备注：姓名+微信号）或发邮件至sthjkx1@163.com
