https://arxiv.org/abs/2408.09695
文献解读：利用绝对位置编码实现高效可扩展的全球天气预报
摘要
本研究提出了一种新型的基于Transformer的全球天气预报模型，称为LightWeather。该模型针对传统Transformer模型在参数数量和训练时间上的不足，通过引入绝对位置编码（APE）来简化模型结构，从而提高效率和可扩展性。研究发现，APE能够显式地模拟空间-时间相关性，甚至在没有注意力机制的情况下也能有效。此外，该研究从理论上证明了APE的有效性源于其整合了与天气动态内在相关的地理坐标和实际时间特征。
关键词
• 绝对位置编码
• 天气预报
• Transformer模型
• 空间-时间相关性
引言
引言部分讨论了天气预报的重要意义及其在农业、交通、能源和经济等领域的应用。随着自动气象站数量的指数级增长，现代气象学已经能够收集到几乎全球任何地方的气象数据。然而，这些数据的复杂空间-时间模式给全球尺度的天气预报带来了挑战。最近，基于Transformer的方法因其能够捕捉长期的空间-时间相关性而受到关注，但其复杂的架构限制了其在实际场景中的应用。
方法
问题表述
该研究考虑了N个气象站，每个站收集C个气象变量（例如温度）。给定过去Th个时间步的观测数据和可选的空间和时间信息，目标是学习一个函数F(·)来预测未来Tf时间步的数据。
LightWeather模型概述
LightWeather模型包括数据嵌入层、绝对位置编码层、作为编码器的MLP（多层感知机）和回归层。该模型用简单的MLP替换了Transformer中的冗余结构，从而在不牺牲性能的情况下显著提高了效率。
数据嵌入
数据嵌入层将历史时间序列映射到潜在空间的嵌入向量。
绝对位置编码
绝对位置编码包括空间编码和时间编码两部分。空间编码通过简单的全连接层将气象站的地理坐标编码到潜在空间。时间编码则利用可学习的嵌入矩阵来表示一天中的时间、一个月中的天数和一年中的月份，以模拟天气的多尺度时间相关性。
编码器
使用L层MLP作为编码器来学习嵌入数据的表示。
回归层
采用线性层将表示映射到预测结果。
损失函数
使用平均绝对误差（MAE）作为损失函数。
理论分析
该部分提供了LightWeather的理论分析，重点是其空间-时间嵌入的有效性和效率。通过定理和推论，作者证明了绝对位置编码通过整合地理坐标和实际时间特征来显式捕捉空间-时间相关性，从而提高了模型性能。
数据
研究使用了包括全球和全国范围的5个数据集，包括GlobalWind、GlobalTemp、Wind CN、Temp CN和Wind US。这些数据集包含了不同时间分辨率和空间覆盖范围的气象站数据。
基线比较
与多种基线模型进行比较，包括传统方法、通用DL方法和专门的天气预报DL方法。
结果
实验结果显示，LightWeather在所有数据集上都取得了最佳性能，超过了其他13个主流基线模型。这表明，与复杂的Transformer架构相比，整合地理和时间知识的简单模型更为有效。
结论
这项工作突出了绝对位置编码在基于Transformer的天气预报模型中的重要性。即使在没有注意力机制的情况下，通过整合地理坐标和实际时间特征，绝对位置编码也能显式地捕捉空间-时间相关性。提出的LightWeather模型结构简单，效率高，可扩展性好，且在全局气象数据集上取得了令人满意的性能。该方法的有效性预计将超越天气预报领域，扩展到涉及地理信息的预测（例如空气质量和海洋水文学），为这些领域的深度学习方法指明了新的方向。
（加微信交流群，请备注：姓名-行业-单位）
声明：本公众号分享的资源均来自于互联网的公开资源，仅供个人学习和研究使用，不代表本人对其版权、真实性、合法性、准确性等方面做出任何保证。任何使用本号分享的资源的个人或组织，需自行承担相应的法律责任和后果；本号不承担任何法律责任和连带责任。使用本号分享的资源即代表您已完全了解并同意本免责声明的所有内容。
上海位温信息科技有限公司
专业的商业气象服务商
![]()
（咨询数据详情，可添加微信，请备注：合规数据）
可提供气象产品 ：
全国三千多个基准站
3213 个主要城市站点、每小时发 布 1 次，
每天发布 24 次，每次提供当前整点时刻的
城市站点实况天气（实况产品会在整点后
15 分钟、20 分钟、30 分钟进行数据更新），
要素包括：天气现象、气温、体感温度、风速、
风力、风向、相对湿度、气压、1小时降水量、
10分钟降水量、能见度、日出时间、日落时间、
紫外辐射等要素。
探空气象站
海洋气象站
雷达拼图
卫星云图（风云4、葵花8）
格点实况、再分析资料
数值预报:CMA EC GFS
强对流天气预报
强天气落区预报
强对流天气（短时强降水/冰雹/雷暴大风）概率预报图
台风、热带气旋
可提供国内与国外各类气象咨询气象服务
本公司提供服务稳定可靠，您值得拥有。
上海位温信息科技有限公司
专业的商业气象服务商
（咨询数据详情，可添加微信，请备注：合规数据）
可提供气象产品 ：
全国三千多个基准站
3213 个主要城市站点、每小时发 布 1 次，
每天发布 24 次，每次提供当前整点时刻的
城市站点实况天气（实况产品会在整点后
15 分钟、20 分钟、30 分钟进行数据更新），
要素包括：天气现象、气温、体感温度、风速、
风力、风向、相对湿度、气压、1小时降水量、
10分钟降水量、能见度、日出时间、日落时间、
紫外辐射等要素。
探空气象站
海洋气象站
雷达拼图
卫星云图（风云4、葵花8）
格点实况、再分析资料
数值预报:CMA EC GFS
强对流天气预报
强天气落区预报
强对流天气（短时强降水/冰雹/雷暴大风）概率预报图
台风、热带气旋
可提供国内与国外各类气象咨询气象服务
本公司提供服务稳定可靠，您值得拥有。
