NASA与IBM合作推出遥感大模型Prithvi 2.0,开源使用!

科技   2024-12-16 09:33   新加坡  

NASA 与 IBM 联手推出遥感基础模型 Prithvi 2.0,开源使用,参数达600M,从影像重建、云处理、洪水监测再到火灾识别,这款模型在表现出优异水平。

2024年12月,NASA、IBM和德国尤利希研究中心联合发布了增强版的开源遥感AI模型——Prithvi 2.0。

这一模型整合了全球数据,能够支持土地利用变化监测、灾害响应以及作物产量预测等多种应用场景。


Prithvi模型构建

Prithvi模型最初于2023年8月发布,由NASA和IBM基于Harmonized Landsat和Sentinel-2(HLS)数据集预训练而成。

2.0版本于12月发布。

Prithvi模型的训练数据集涵盖了全球范围内的高质量HLS卫星图像,避免了云层或数据缺失导致的质量下降。

模型基于ViT架构,使用掩码自动编码器(MAE)方法进行预训练。并已在Hugging Face平台上开源。

多场景应用

多时序云处理

利用Prithvi模型重建因云层覆盖导致的图像缺失区域。

多时序作物分类

通过分析时序卫星数据,Prithvi模型可以精确识别作物类型及分布模式,为农业资源管理提供支持。

作物分类

洪水识别

模型能够在多种生态系统中分类洪水区域,为洪水管理提供数据支持。

洪水范围识别

火灾区域检测

结合卫星图像与火灾数据,Prithvi模型能捕捉火灾区域的详细信息,帮助制定灾后恢复计划。

Prithvi模型生成的火灾区域结果,包括真实颜色复合图像、地面真值掩膜以及预测Mask

进一步解读

目前,Prithvi系列模型包括:

  • Prithvi-EO-1.0Prithvi-EO-2.0:基于遥感解译数据
  • Prithvi-WxC-1.0:基于气象预报

Prithvi 2.0 的技术规格与性能表现

1.0版本Prithvi模型最初于2023年8月发布。与其前身相比,Prithvi 2.0 在多个方面实现了显著提升:

参数规模模型参数从 1.0 的100M增加到600M

训练数据基于 NASA 的 Harmonized Landsat 和 Sentinel 产品,Prithvi 2.0 训练了 420 万个数据点。

性能评测在 GEO-bench 基准测试框架中,Prithvi 2.0 的平均得分达到 75.6%,较前代模型提高了 8%。这一框架涵盖了地理空间领域的多个任务,是评估模型性能的重要工具。

GEO-bench评测

如何获取 Prithvi 2.0

模型托管在Hugging Face平台,有完整的checkpoint和代码,方便开发者快速上手。

还有各类使用Demo。

影像重建demo

模型地址https://huggingface.co/ibm-nasa-geospatial

与其他已发布模型不同,IBM还提供了详细的模型Finetune教程,可以为不同任务再做优化。
===END===

往期推荐:

也说遥感共性产品,行业需要什么样的遥感产品?

看水利部水利遥感星座战略布局,机遇与挑战并存

Umbra开源雷达影像下载工具开发实践

NASA与微软联合推出“Earth Copilot”,“智能助手“或成为行业产品标配


欢迎交流

笔者长期从事人工智能、遥感、大模型等业务

欢迎添加微信交

空天感知
专注商业航天、人工智能、气象水文等交叉学科,精选行业资讯,深耕AI业务落地
 最新文章