https://arxiv.org/abs/2409.19058
这篇文献的标题是《CLLMate: A Multimodal LLM for Weather and Climate Events Forecasting》，作者团队来自中国香港科技大学。这篇研究的核心是提出了一个新的任务——天气和气候事件预测（WCEF），并为完成这个任务设计了一个名为CLLMate的多模态大型语言模型（LLM）。以下是对这篇文献的详细解读：
摘要部分
• 研究动机：预测天气和气候事件对于减轻环境危害和最小化相关损失至关重要。以往的研究集中在预测与封闭集事件相关的数值气象变量，而不是直接预测开放集事件，这限制了事件预测的全面性。
• 研究目标：提出一个新的框架，利用大型语言模型（LLM）来预测潜在的天气和气候事件。
• 方法论：研究者们首先使用LLM从超过41k篇高度关注环境的新闻文章中提取有关天气和气候事件的信息，构建知识图谱。然后将这些事件与气象光栅数据对应起来，创建了一个用于LLM调整的监督数据集。
• 实验结果：CLLMate在预测任务上超越了基线和其他多模态LLM，展示了利用LLM将天气和气候事件与气象数据对齐的潜力。
引言部分
• 背景：极端天气或异常气候条件的离散事件对人类社会构成重大风险。
• 研究空白：以往的研究没有预测开放集事件，而是预测了封闭集事件的特定气象变量。
• WCEF任务：作者提出了一个新的环境预测领域任务，旨在基于气象信息预测开放集天气和气候事件。
问题表述部分
• 数据类型：本研究使用了时空数据，包括光栅数据和事件数据，以及天气和气候事件的知识图谱。
• WCEF任务公式化：目标是使用数值气象光栅数据预测文本形式的天气和气候事件。
方法部分
• 多模态指令数据集：通过提取事件及其关系，构建知识图谱，然后将这些事件与气象光栅数据映射，构建多模态指令数据集。
• 光栅数据嵌入：将气象光栅数据投影到LLM嵌入空间中，以与文本对齐。
• 多模态指令调整：通过构建包含特定日期的气象光栅数据的对话，包含日期和上下文信息的查询，以及当天提取的天气和气候事件作为地面真实响应，执行指令调整。
实验部分
• 数据集：使用了ERA5再分析数据集和来自Wisers的41,088篇高度环境相关的新闻文章。
• 训练和评估数据集：基于日期将数据集划分为训练集和评估集。
• 评估指标：使用BLEU、ROUGE、Meteor和BERTScore等指标评估文本生成的质量。
• 基线模型：与领域专家利用历史数据预测最可能事件的“top-1 similarity”方法进行了比较。
相关工作
• 天气和气候事件预测：讨论了从古代到现代天气预测的转变，以及数值天气预测和基于AI的预测方法。
• LLM的指令调整：讨论了收集指令数据集的三种主要方法。
• 多模态LLM：探讨了多模态LLM的研究，这些研究试图整合图像、音频和视频等多种形式的数据。
结论
• 贡献：提出了WCEF任务，并构建了第一个用于该任务的多模态指令数据集。
• CLLMate：介绍了CLLMate模型，它通过将气象光栅数据与文本对齐来准确预测天气和气候事件。
• 未来工作：提出了未来研究可能探索的领域，包括事件检测和理解、世界常识知识、更多模态（如卫星图像和全球气象站的时间序列数据）以及更长期、更精确的预测方法。
附录
• 案例研究：提供了CLLMate与其他多模态LLM的比较案例研究。
整体而言，这篇文献提出了一个创新的多模态LLM模型，用于天气和气候事件的预测。通过构建知识图谱和多模态数据集，CLLMate能够将气象数据与事件直接关联，从而提高预测的准确性和效率。这项研究不仅对气象学领域有重要意义，也展示了LLM在处理多模态数据和解决实际问题中的潜力。
（加微信交流群，请备注：姓名-行业-单位）
声明：本公众号分享的资源均来自于互联网的公开资源，仅供个人学习和研究使用，不代表本人对其版权、真实性、合法性、准确性等方面做出任何保证。任何使用本号分享的资源的个人或组织，需自行承担相应的法律责任和后果；本号不承担任何法律责任和连带责任。使用本号分享的资源即代表您已完全了解并同意本免责声明的所有内容。
上海位温信息科技有限公司
专业的商业气象服务商
![]()
（咨询数据详情，可添加微信，请备注：合规数据）
可提供气象产品 ：
全国三千多个基准站
3213 个主要城市站点、每小时发 布 1 次，
每天发布 24 次，每次提供当前整点时刻的
城市站点实况天气（实况产品会在整点后
15 分钟、20 分钟、30 分钟进行数据更新），
要素包括：天气现象、气温、体感温度、风速、
风力、风向、相对湿度、气压、1小时降水量、
10分钟降水量、能见度、日出时间、日落时间、
紫外辐射等要素。
探空气象站
海洋气象站
雷达拼图
卫星云图（风云4、葵花8）
格点实况、再分析资料
数值预报:CMA EC GFS
强对流天气预报
强天气落区预报
强对流天气（短时强降水/冰雹/雷暴大风）概率预报图
台风、热带气旋
可提供国内与国外各类气象咨询气象服务
本公司提供服务稳定可靠，您值得拥有。
上海位温信息科技有限公司
专业的商业气象服务商
（咨询数据详情，可添加微信，请备注：合规数据）
可提供气象产品 ：
全国三千多个基准站
3213 个主要城市站点、每小时发 布 1 次，
每天发布 24 次，每次提供当前整点时刻的
城市站点实况天气（实况产品会在整点后
15 分钟、20 分钟、30 分钟进行数据更新），
要素包括：天气现象、气温、体感温度、风速、
风力、风向、相对湿度、气压、1小时降水量、
10分钟降水量、能见度、日出时间、日落时间、
紫外辐射等要素。
探空气象站
海洋气象站
雷达拼图
卫星云图（风云4、葵花8）
格点实况、再分析资料
数值预报:CMA EC GFS
强对流天气预报
强天气落区预报
强对流天气（短时强降水/冰雹/雷暴大风）概率预报图
台风、热带气旋
可提供国内与国外各类气象咨询气象服务
本公司提供服务稳定可靠，您值得拥有。
