Nature子刊 | 结合CNN和Transformer的全球冰川遥感制图, 数据代码开源

文摘   2025-01-30 08:41   荷兰  

 RS   DL 

论文介绍

题目:Globally scalable glacier mapping by deep learning matches expert delineation accuracy

期刊:Nature Communications

论文:https://www.nature.com/articles/s41467-024-54956-x

代码:https://github.com/konstantin-a-maslov/scalable_glacier_mapping

数据:

https://archive.sigma2.no/pages/public/datasetDetail.jsf?id=10.11582/2024.00168

年份:2025
单位:荷兰特文特大学ITC,挪威奥斯陆大学

创新点

  • 提出 GlaViTU 模型,全球首个结合 CNN 和 Transformer 的冰川制图深度学习框架,能够同时捕捉局部细节和全球特征,提高冰川制图精度和适应性。
  • 实现全球自动化冰川制图,通过深度学习替代人工描绘,使大规模、多时相的冰川边界提取更加高效和稳定,减少人为误差。
  • 构建全球最大冰川制图数据集,整合 Sentinel-2、Landsat、SAR 和 DEM 数据,覆盖全球 9% 冰川区域,并支持多时相分析(1988-2020)。
  • 优化模型的泛化能力,提出五种训练策略,包括区域微调、坐标编码和区域偏差优化,使模型能够适应不同冰川环境和时空变化。
  • 引入 SAR 数据提升制图精度,通过合成孔径雷达后向散射和干涉相干性数据,提高碎屑覆盖冰川、阴影区域和云遮挡情况下的分类准确性。

数据


  • 数据来源
    主要使用开源卫星数据,包括 Sentinel-2、Landsat 5/7/8、合成孔径雷达(SAR)数据(Sentinel-1) 和 数字高程模型(DEM),以提高冰川制图的准确性。
  • 数据覆盖范围
    构建了一个全球冰川数据集(约 400GB),涵盖全球 9% 的冰川区域,包括不同气候、地形和冰川类型,增强模型的泛化能力。
  • 数据特点
    • 包含多时相数据,数据集跨越 1988 年至 2020 年,支持长期冰川变化分析,并利用不同时间的影像进行模型训练和验证。
    • 多模态数据融合,结合光学影像(可见光、近红外、短波红外)、SAR 数据(后向散射、干涉相干性)、DEM(地形信息),以提供更全面的冰川特征信息。
      • 光学影像(Sentinel-2, Landsat 5/7/8) → 主要用于清冰和碎屑覆盖冰川的区分。

      • 合成孔径雷达(SAR,Sentinel-1) → 通过后向散射和干涉相干性信息,提高阴影区域、碎屑冰川和多云天气下的识别能力。

      • 数字高程模型(DEM) → 提供冰川的地形信息,辅助区分冰川和非冰川区域,特别是高山地区。
  • 数据预处理
    标准化,所有影像被处理为10×10 km² 标准化瓦片,确保模型输入一致性,并采用数据增强技术提高模型的鲁棒性。
  • 数据标签来源
    使用 Randolph Glacier Inventory(RGI)、Global Land Ice Measurements from Space(GLIMS) 以及专家手动描绘数据作为训练标签,以保证制图精度。

方法


本文提出了一种基于深度学习的全球冰川自动化制图方法,核心是 GlaViTU(Glacier-VisionTransformer-U-Net)模型,结合 光学数据、SAR 数据和DEM,并采用多种优化策略来提高制图精度和泛化能力。

深度学习模型:GlaViTU

  • 模型架构:GlaViTU 结合 卷积神经网络(CNN)和视觉 Transformer(ViT),既能提取局部纹理特征,又能建模大尺度空间信息。
  • 输入数据:输入为 多通道卫星数据(光学、SAR、DEM),并通过融合不同数据类型的信息来提高冰川分类能力。
  • 输出结果:模型预测每个像素的冰川类别,生成高精度的冰川边界图,最终用于自动化制图。

五种制图优化策略

为了提升模型的跨区域适应能力,本文设计了五种策略来优化模型训练。
  • 全球策略
    • 训练单一模型,适用于全球所有冰川区域。
    • 适用于数据分布均匀的情况,但在区域特异性较强的地方可能表现不佳。
  • 区域策略
    • 针对不同的地理区域(如阿尔卑斯山、喜马拉雅、南极等),分别训练独立模型。
    • 适用于区域差异较大的冰川,但模型泛化能力较弱,难以推广到新区域。
  • 微调策略
    • 先训练一个全球模型,再对每个区域进行局部微调,调整模型参数以适应区域特征。
    • 结合全球模型的泛化能力和区域模型的精细化优势,取得更好的制图效果。
  • 区域编码策略
    • 在模型输入中加入区域位置编码(如 one-hot 编码),让模型知道输入数据的地理位置,并针对不同区域调整预测偏差。
    • 能够在不增加训练复杂度的情况下提高跨区域制图精度。
  • 坐标编码策略
    • 直接使用影像的经纬度信息作为输入特征,使模型能够理解空间分布模式,增强对不同区域的适应能力。
    • 适用于跨大陆冰川制图,提高模型对未见数据的泛化能力。

结果与分析

本文实验表明,GlaViTU 模型在全球冰川制图中表现优越,能够有效识别清冰和碎屑覆盖冰川,并减少误分类问题。实验还验证了 光学 + SAR + DEM 数据组合的最佳效果,以及 微调策略 + 区域编码 可提升模型的跨区域泛化能力,同时不确定性分析进一步增强了自动制图的可靠性。
精度结果

可视化

不同制图策略的对比

  • 全球策略:泛化能力强,但在某些特定区域(如高山冰川)精度较低。

  • 区域策略:对本地冰川精度高,但难以推广到新区域。

  • 微调策略:结合全球模型的泛化能力和区域模型的局部适应性,表现最佳。

  • 区域编码策略:轻量化方式提升模型在不同区域的适应性,提升 2%-3% 的 IoU。

  • 坐标编码策略:进一步提升泛化能力,尤其在数据分布不均的区域表现更稳定。

数据输入对比实验

  • 光学(Sentinel-2/Landsat): 适用于清冰和大多数冰川,但在碎屑覆盖和阴影区域存在局限。

  • 光学 + DEM显著提升高山地区的精度,但对碎屑冰川影响有限。

  • SAR(Sentinel-1)有效改善碎屑冰川识别,但易受地表散射变化影响。

  • 光学 + SAR :  综合表现最佳,特别是在云层遮挡和碎屑冰川区域提升明显。

  • 光学 + SAR + DEM 提升精度的同时,提高模型的时空泛化能力,减少跨区域误差。

与现有方法对比
  • 传统光学阈值法(Red/SWIR 1.6μm 阈值): 易误分类水体,对碎屑冰川检测不佳。
  • 基于专家标注的 GLIMS/RGI : 精度高,但受人工误差和数据更新频率影响,部分区域数据过时。
  • GlaViTU 整体精度更高(IoU 提高 10-15%),特别是在碎屑覆盖冰川、云层遮挡区域表现更稳定。


更多图表分析可见原文


众号升级版AI回复功能已启用,如需加群、投稿或合作,请微信联系小助手(备注:咨询/投稿/合作/加群,加群需姓名/昵称、单位和研究方向)。
我们目前有交流群、作者群(已发表成果的作者)、竞赛群和语义分割、变化检测等具体方向的交流群,详见:交流群说明

公众号欢迎优秀作者投稿!投稿说明请查看:投稿说明

往期推荐

论文赏读 | Nature子刊 | 基于深度学习的单棵死亡树木制图发现分散/孤立的树木死亡导致加州森林显著损失

2024-08-11

论文赏读 | Nature子刊 | 基于CNN的卫星制图显示全球温室种植面积激增

2024-07-20

论文赏读 | Nature子刊 | 基于遥感和U-Net绘制6亿棵树木,并发现过去十年印度农田树木严重减少

2024-06-26

论文赏读 | Nature子刊 | 基于卫星数据和深度学习检测全球甲烷排放,使用结合Transformer的U-Net网络

2024-06-10


  欢迎关注  


分享遥感与深度学习领域的技术、论文、书籍、新鲜事。



欢迎加入遥感与深度学习交流群(点此加入)

遥感与深度学习
聚焦遥感与深度学习,分享相关技术、论文、书籍、资讯,团队来自国内外著名期刊作者及审稿人
 最新文章