点击蓝字
关注我们
各位客官老爷，久等了！经过几个月的持续开发，目前我们独立运行的伏羲、GraphCast、FourCastNet等三个大模型已经全部由实时更新的0.25°分辨率IFS数据进行驱动。在之前的预报检验过程中，几个大模型是使用ERA5再分析资料驱动的，一方面存在数据滞后性问题，另外一方面和其他实时运行的模型数据进行对比时，也存在一定的公平性问题。断更了几个月，感谢各位客官老爷的耐心和支持！目前7-10月的预报结果均已补算完毕，我们将逐步向大家公开检验结果。今天先补交一个7月份的预报检验作业。
检验说明
本轮参与检验的预报产品信息如下：
| 序号 | 产品名 | 机构 | 主要技术路线 |
| 1 | IFS | ECMWF | 数值模式 |
| 2 | GFS | NOAA | 数值模式 |
| 3 | 伏羲 | 复旦大学人工智能创新与产业研究院 | U-Transformer |
| 4 | GraphCast | Google DeepMind | 图神经网络 |
| 5 | FourCastNet | 英伟达 | 自适应傅立叶神经算子（AFNO） |
| 6 | GrpahCastGFS | NOAA | 图神经网络 |
| 7 | AIFS | ECMWF | 图神经网络 |
其中，使用图神经网络技术路线的GraphCast、GraphCastGFS、AIFS在小量级降水上存在误报较多的情况（请参考ECMWF的气象大模型，效果怎么样？的分析），结合EC官网的降水作图方式，我们将这几个预报结果进行了优化（去掉了0.5mm以下的降水），下文中以GraphCast-optimized、GraphCastGFS-optimized、AIFS-optimized展示。
检验方法
检验要素：降水、2米温度、10米风速
检验时段：2024.7.1 - 2024.7.31 所有预报产品每日4次（UTC00、06、12、18）预报结果
检验步长&时效：每种产品检验其6-120小时逐6小时预报效果
检验点位：2000+中国国家地面气象站点位（具体台站数量和位置，请参考国家气象科学数据中心官网）
检验方法：
降水检验：晴雨TS评分
其他要素：平均绝对误差（MAE）
检验结果
逐6小时降水检验
（降水晴雨TS评分曲线图，评分越高预报效果越好）
经过优化的AIFS和GrpahCast相较于其他预报产品有着显著的优势，其中GraphCast更胜一筹，在18-36小时预报时间段内水平跟AIFS齐平，其他时间均优于AIFS。IFS依旧保持着较高的水准，紧随其后排名第三。伏羲在24小时以内略逊于GFS，之后逐步超越GFS并在72小时后逐步超越IFS。原始GraphCast在48小时内逊于FourCastNet之后逐渐趋近伏羲GFS和IFS的预报水平。原始AIFS和GraphCast水平相对较弱。优化后的GraphCastGFS在第6小时的预报效果很好，但是之后快速下降到最后梯队。
逐6小时温度预报检验
（温度预报MAE曲线图，MAE越小预报效果越好）
在温度预报方面，伏羲和AIFS在前24小时预报时效内各有优劣，之后伏羲有着更好的预报效果，直到72小时之后与AIFS、GraphCast不分伯仲。GraphCast在第1个时次6小时预报时略差，之后误差快速下降，总的来说与AIFS和伏羲一起在第一梯队。第二梯队中是IFS、GraphCast和FourCastNet，其中FourCastNet的预报误差随着预报时效的延伸升高较快。GFS的温度预报不尽如人意，误差明显大于其他产品。
逐6小时风速预报检验
（风速预报MAE曲线图，MAE越小预报效果越好）
风速预报方面，前24小时预报多种产品竞争激烈在0.1m/s误差的范围内角逐。之后伏羲和GraphCast和伏羲保持着较好的表现，GraphCastGFS紧随其后。AIFS在48小时预报之前与前三者有一定竞争力，但之后误差增长较快。FourCastNet和IFS要略逊色于上述预报产品。GFS在风速预报表现上与温度预报表现相同，全线较差。
7月检验总结
AIFS和GraphCast在降水预报上有着显著的优势，全线领先于其他预报产品。其中GraphCast在风速预报上也有着不错的表现，AIFS在温度预报上表现不俗。大模型中，伏羲表现居中，FourCastNet相对较弱，GraphCastGFS在降水上表现不尽如人意，在温度和风速预报上也表现平平。
从检验结果上看，气象大模型在降水、温度、风速预报上均有着不俗的表现。我们将很快更新8月预报结果。
聊聊技术，聊聊合作
我们在公众号后台接到了很多朋友的私信，非常开心听到大家的声音，我们也收获了很多非常宝贵的建议！我们建了一个粉丝群，可以公众号后台留言“入群”，大家一起共同探讨最新气象技术干货！
我们已经正式开启了商业服务，作为国内为数不多的“第三方天气预报检验机构”，我们不卖技术、不卖数据，只做一件事：公平、公正地为大家提供有价值的气象技术检验服务。如有需要，究天实验室后台回复“合作”，与我们联系！
