南京信息工程大学张荣华教授团队在Science Bulletin 2024年第15期上发表文章“A transformer-based coupled ocean-atmosphere model for ENSO studies“，报道了一个纯数据驱动、基于transformer构架的海气耦合模式（命名为3D-Geoformer），并用于ENSO相关的三维海温场及其与海表风场等多变量耦合的表征和预测，对基于人工智能（AI）的ENSO跨年度预测成功实现了从单一变量、单点时间序列到多变量、三维立体场预测的重要跨越，展示出对ENSO预测、可预报性和可解释性研究等显著优势，为热带海气相互作用研究提供了一个创新的模拟平台。
厄尔尼诺-南方涛动（ENSO）是气候系统中最显著的年际异常信号，起源于热带太平洋中海洋与大气间的相互反馈及耦合，包括次表层温度异常跨洋盆的时空演变及其与海表温度（SST）和海表风场间的相互作用，这些过程为ENSO可预报性提供了年际记忆能力，是进行ENSO预测的物理基础。目前已经研发了基于数理方程的海洋-大气耦合模式，能合理表征与ENSO相关的海气耦合过程，并且已被广泛应用于ENSO研究，包括基于物理的动力模式对ENSO的成功模拟和预测，但当前在实时预测方面仍存在明显的局限性，如何利用海气耦合的动力模式来及时而有效地改进ENSO预测技能仍是学术界和气候预测业务部门等面临的一大挑战。
近来基于深度学习（deep learning; DL）的建模及在地球科学中的应用已取得了巨大的进展。如已在简单的ENSO指数预测中所显现的，DL模式在ENSO预测方面明显优于动力模式，但当前基于DL的建模及对ENSO的预测大多是从输入端到输出端间的直接关系来进行的，其中间环节缺少海气相互作用的显式表征，如从输入场推算出输出场时未显式考虑海气变量间的交换和耦合过程，使得在ENSO建模及其预测时，还未能充分表征热带太平洋中与ENSO过程相关的海洋-大气间强迫、响应、反馈和相互作用。
最近，南京信息工程大学张荣华团队研发了一个基于注意力机制的新颖transformer模式（命名为3D-Geoformer），具有几个引人注目的特色和优势。
在科学层面上，选取了热带太平洋中与ENSO动力过程密切相关的几个关键变量作为输入场（预报因子）和输出场（预报变量），包括上层海洋150 m中的三维温度、东西向和南北向海表风应力一起（总共有9个场），用于ENSO相关的多变量耦合过程的表征。
在技术层面上，采用了一种目前DL领域中广为流行的transformer架构，其中包含了一个特定的时间-空间自注意力机制，通过学习输入预报因子与输出预报变量之间的相互影响来有效捕获变量间非局部相互关系。进一步，预测过程也是以与动力模式相类似的滚动方式来进行的：在从预报因子到预报变量进行一个月（作为时间步长）的预测过程中，每月更新输入场和输出场，从而允许每个月海洋与大气之间进行异常场交换和相应的海气耦合。因此，这个纯数据驱动的transformer模式能像动力模式一样描述热带太平洋中海洋与大气之间协同一致的多变量场间的互动和耦合，从而明确而有效地表示了与ENSO相关的海洋-大气间相互作用。图1显示了使用3D-Geoformer从给定12个月时段（time intervals; TIs）内的预报因子（作为输入场）来逐月滚动推算出20个月预报变量（作为输出场）的预测过程。
图1 3D-Geoformer中进行耦合式逐月滚动预测的示意图。在每个月的预测中，3D-Geoformer取前12个月的所有预报因子信息作为输入场，并对接下来的20个月逐月进行滚动预测得到输出的预报场。
与其他基于DL和动力模式相比，该3D-Geoformer在ENSO研究中具有几大优势。其中优势之一是在数据驱动的DL建模框架下，在预训练和预测过程中允许海洋与大气之间逐月进行异常场交换，因此能够显式地表征与ENSO相关的海洋与大气之间的正反馈和负反馈，使得该模式能类似于基于数理方程的动力模式一样的方式来有效表征海洋与大气间的相互作用。这里以2015~2016年厄尔尼诺事件作为例子来说明（图2）：该模式从2015年3月开始，就能成功地预测2015年12月的异常演变（图2b），包括上层海洋温度、SST和海表风及它们间的相互作用过程。
图2 以2015年3月为初始条件，使用3D-Geoformer得到的超前1个月（a）、超前9个月（b）的多变量预测结果。其中图上部显示水平面上海表风应力（矢量）和海表温度（填色）；下部显示沿赤道上的垂直-经向剖面的上层海洋温度。
进一步，利用这种新型3D-Geoformer开展对ENSO的历史回报试验，结果表明该模式优于其他先进的动力模式（图3）。这里比较了3D-Geoformer（采用TI=18）、来自CPC/IRI的动力模式、来自北美多模式集合（NMME）中各个模式的相关预测技能（利用3个月滑动平均的Niño3.4指数预测与观测间的相关系数（COR）作为指标）。显然，由数据驱动（即仅基于国际耦合模式比较计划（CMIP6）模拟产品进行训练得到）的3D-Geoformer在预测ENSO方面表现出色，显然比其他传统的统计和动力模式都具有更高的预测技能，说明该3D-Geoformer构建中所具有的独特优势确实能转变为其对ENSO实际预测能力的改进上。
图3 不同模式对Niño3.4指数的预测结果间的比较（取3个月滑动平均）。3D-Geoformer（TI=18；红线）、IRI动力模式（以蓝线表示其多模式集合平均值）以及北美多模式集成（NMME；由各种彩色线表示各个体）预测结果计算得到的相关系数（COR）。
南京信息工程大学张荣华教授为论文第一作者和共同通讯作者，中国科学院海洋研究所和中国科学院大学周路博士为论文第二作者，中国科学院海洋研究所高川副研究员为论文共同通讯作者，合作者还包括南京信息工程大学陶灵江博士。该研究得到国家自然科学基金、崂山实验室科技创新项目、中国科学院战略性先导科技专项、 南京信息工程大学人才启动经费和江苏双创团队等项目的共同资助。
[点击下方链接或阅读原文]▼
