23亿参数，Transformer架构，NASA、IBM发布「天气+气候」通用AI模型Prithvi WxC

将 ScienceAI 设为星标

第一时间掌握

新鲜的 AI for Science 资讯

编辑 | KX

9 月 23 日，IBM 与 NASA 合作发布了一个用于天气和气候的新型通用 AI 模型 Prithvi WxC，该模型可以在台式计算机上运行，且开源。

Prithvi WxC 具有 23 亿参数，使用 MERRA-2 数据集的 160 个变量开发而成。Prithvi WxC 采用创新的 Transformer 架构。

研究人员在一系列具有挑战性的下游任务上测试了该模型，即：自回归滚动预测、降尺度、重力波通量参数化和极端事件估计。

由于其独特的设计和训练机制，Prithvi WxC 可以解决比现有天气 AI 模型更多的应用，潜在的应用包括根据当地天气数据创建有针对性的预报、预测极端天气事件、提高全球气候模拟的空间分辨率，以及改善传统天气和气候模型中物理过程的表示。

相关研究以「Prithvi WxC: Foundation Model for Weather and Climate」为题，发表在预印平台 arXiv 上。

开源地址：https://huggingface.co/Prithvi-WxC

论文链接：https://arxiv.org/abs/2409.13598

人工智能天气预报的未来前景光明。一些基于历史天气数据训练的深度学习模型已经可以与传统天气模型的性能相媲美。

现在越来越多的大型 AI 模型可以解决预测、降尺度或即时预报等用例。虽然 AI 文献中的并行发展侧重于基础模型，但天气和气候方面的发展主要侧重于单一用例，尤其强调中期预报。

NASA 和 IBM 合作利用 MERRA-2 数据创建了天气和气候的 AI 基础模型 Prithvi WxC。

该模型花费了数周时间和数十个 GPU，以 NASA MERRA-2 再分析的 40 年历史天气数据为基础进行训练。但现在，该模型可以针对不同的用例进行快速调整，并在几秒钟内通过台式计算机提供服务。

「我们设计了基础模型，这样一来，所有前期投入的辛勤工作和 GPU 时间都将得到回报，因为人们可以快速分离和运行新的应用程序。」开发该模型的 IBM 气候研究员 Campbell Watson 说道。

在一次实验中，该模型采集了一个微小的本地天气数据样本，并通过填充 95% 的缺失值准确地重建了全球地表温度。IBM 欧洲研究中心主任兼 IBM 气候和可持续发展负责人 Juan Bernabé-Moreno 表示：「从一小段高质量历史数据样本推广到整个地球，对于广泛的天气和气候预测任务非常有用。」

降尺度、飓风预报、捕捉地球难以捉摸的重力波

Prithvi WxC 是一个 23 亿参数的基础模型，使用 MERRA-2 数据集的 160 个变量开发而成。MERRA-2 是 NASA 广泛使用的再分析数据集，提供全球大气数据，包括温度、湿度和风。该数据集涵盖 1980 年至今，空间分辨率为 0.5 x 0.625 度，时间分辨率为 3 小时，对气候研究和大气研究很有价值。

Prithvi WxC 是一种基于 Transformer 的深度学习架构，它结合了几种最新 Transformer 架构的思想，以有效处理输入数据的区域和全局依赖关系，并有效处理更长的 token 序列长度。这允许模型在不同的空间环境中运行，或者在微调期间将来自离网测量的额外 token 注入模型。

研究还尝试了不同的损失函数，例如，从预测模拟器的损失函数中删除特定于任务的时间方差，并将其替换为与任务无关的气候学方差。Prithvi WxC 的验证从用于重建和预测的零样本评估扩展到下游任务，例如天气和气候模型的降尺度、飓风轨迹的预测和大气重力波通量参数化。

在预印论文中，研究人员描述了他们如何构建模型并在专门的数据上对其进行微调，以创建三个与预报员直接相关的应用程序。例进行快速调整，并在几秒钟内通过台式计算机提供服务。潜在的应用包括根据当地天气数据创建有针对性的预报、预测极端天气事件、提高全球气候模拟的空间分辨率以及改进传统天气和气候模型中物理过程的表示。

第一个应用程序旨在放大低分辨率数据以获取更多细节，这种方法称为降尺度。通过本地化天气和气候预测，降尺度可以提供极端洪水事件或飓风即将来临的早期预警。

IBM 发布了降尺度模型，作为 IBM Granite 系列的一部分。它采用不同分辨率和类型的数据，例如温度和降雨量，并将其放大多达 12 倍。在传统气候模型中，导致山洪暴发的强降雨以前只能在 150 平方公里的范围内观察到，通过降尺度，现在可以在 12.5 平方公里的范围内看到。

降尺度应用程序 Hugging Face 地址：https://huggingface.co/ibm-granite/granite-geospatial-wxc-downscaling

第二个专注于飓风预报。研究人员使用该模型准确重建了飓风  Ida 的轨迹，该飓风于 2021 年袭击路易斯安那州，并造成 750 亿美元的损失，成为有记录以来第四大大西洋飓风。未来，该模型可用于更准确地追踪在何处加强对飓风的防御。

IBM 和 NASA 的第三个应用旨在改进重力波的估计。在地球大气层中，重力波会影响云的形成和全球天气模式，例如飞机湍流出现的位置。传统的气候模型无法以高分辨率正确捕捉重力波，从而给天气和气候预测增加了不确定性。这可能会改变全球供应链编排的游戏规则。

另外，IBM 正在与加拿大气象机构加拿大环境与气候变化部合作，定制降水预报的基础模型，其中包括使用实时雷达数据在几个小时后做出高度本地化的降雨预测。希望数据驱动的基础模型方法可以使用更少的计算资源并提供更准确的结果。

学着像预报员一样「思考」

这个新的天气和气候基础模型加入了一个不断壮大的开源模型家族，旨在使 NASA 收集的卫星和其他地球观测数据集更快、更易于分析。该模型的灵活性归功于其混合架构和不寻常的训练方案。

它建立在视觉 Transformer 和掩蔽自动编码器的基础上，允许模型对随时间展开的空间数据进行编码。通过扩展模型的注意力机制到包括时间，它能够分析 MERRA-2 再分析数据，该数据整合了多个观测数据流。

该模型还能够像传统的网格气候模型一样在球体上运行，也可以在平坦的矩形表面上运行。这些双重表示允许模型从全局视图切换到区域视图而不会牺牲分辨率。

在训练过程中，研究人员向模型输入网格化、严重「涂黑」的气候再分析数据，并让模型逐像素重建每幅图像。他们还让模型将涂黑的图像投射到未来。「该模型有效地了解了大气随时间的变化，」开发该模型的 IBM 研究员 Johannes Schmude 说。

让模型拼凑不完整的天气数据，并设想其未来状态有两个好处。它将研究人员训练模型所需的数据量减少了一半，从而减少了 GPU 和能耗。它还教会了模型如何填补缺失的信息，无论是当前还是未来。这基本上就是天气预报员所做的。

「天气数据本质上是稀疏的，」Schmude 说。「要学习如何预测，你必须学会如何填补空白。」

下一步是什么

IBM 和 NASA 计划看看他们现有的用于分析地球观测数据的开源地理空间 AI 模型，是否可以与他们的新天气和气候模型相结合。Prithvi 地球观测模型于去年发布，现已发展成为一系列广泛的应用程序，下载次数已超过 10,000 次。除其他外，这些应用程序还用于估计过去洪水的范围，并从烧伤痕迹推断过去野火的强度。

地球观测和天气及气候模型可以结合起来，用于同样具有挑战性的任务，从预测预期农作物产量到预测极端洪水事件及其对社区的影响。