RS DL
论文介绍
题目：M3LEO: A Multi-Modal, Multi-Label Earth Observation Dataset Integrating Interferometric SAR and Multispectral Data
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2406.04230
数据：https://huggingface.co/M3LEO
代码：https://github.com/spaceml-org/M3LEO
创新点
多模态多标签数据集：M3LEO 数据集首次集成了合成孔径雷达 (SAR) 的多样性数据（极化、干涉、相干）以及多光谱数据（Sentinel-2），并结合地形辅助数据（如土地覆盖、植被、地表生物量和数字高程模型）。 广泛的地理覆盖：数据集覆盖六个地理区域（包括中国、南美洲等），为每个区域提供一致的时间序列数据（2018-2020 年），并为每块地块提供多季节平均数据。 工具支持：提供了基于 PyTorch Lightning 的模块化深度学习框架，以及可无缝集成 Google Earth Engine 数据的工具（geetiles 和 sartiles）。 分布偏移分析：通过分布变化的 Wasserstein 距离和自监督嵌入分析，展示了地形属性和 SAR 特征在不同地理区域的变化，强调了地理泛化的挑战。
数据
SAR 数据
来源：Sentinel-1 Level 1 Ground Range Detected (S1GRD) 数据。包括 VV 和 VH 极化返回信号，分辨率为 10 米。数据时间范围：2018 至 2020 年，每年包含四个季节的平均值。
干涉图（Interferograms）：来源于 ASF ARIA Geocoded UNWrapped Interferogram (GUNW) 数据。基于 Sentinel-1 两次采集的相位差计算地表变化，分辨率为 90 米。时间范围为 2020 年，提供时间间隔小于 72 天的配对采样。
相干性（Coherence）：来源于 Global Seasonal Sentinel-1 Interferometric Coherence (GSSIC) 数据。通过像素复值之间的相关性计算得出，分辨率为 90 米。时间范围为 2020 年，每季提供一次配对采样。
光学数据
来源：Sentinel-2 L2A 产品，提供地表反射率数据。包括红、绿、蓝、近红外等多个光谱波段，分辨率为 10 米或 20 米。数据时间范围：2018 至 2020 年，每年四个季节的月平均值。
辅助数据(标注数据)
ESA World Cover（土地覆盖）：提供 10 米分辨率的土地分类数据，共 11 类，包括森林、农田、湿地等。数据时间范围：2020 年，验证精度约为 75%。 ESA CCI Biomass（地表生物量）：提供每公顷地表生物量（单位：Mg），分辨率为 90 米。时间范围为 2020 年，对于地表生物量大于 50 Mg/ha 的区域，误差约为 20%。 MODIS Vegetation Cover（植被覆盖）：包括树木覆盖率、非树木覆盖率和裸地比例，分辨率为 250 米。时间范围为 2016 至 2020 年，验证的均方根误差（RMSE）约为 10%。 GHS Built Surface（建筑覆盖）：提供每像素的建筑面积（单位：平方米），分辨率为 100 米。时间范围为 2020 年，平均绝对误差为 6%。 SRTM Digital Elevation Maps（数字高程模型）：来源于 NASA 的 SRTM 项目，分辨率为 90 米。测量时间为 2000 年，RMSE 原始报告为 16 米。
数据覆盖范围和特点
数据集覆盖六个地理区域，包括美国（CONUS）、欧洲、中东、巴基斯坦和印度、中国以及南美洲，总面积约为 21.1×10⁶ 平方公里，占全球陆地表面约 14.1%。核心数据覆盖 2018 至 2020 年，辅助数据主要为 2020 年。 所有数据均分为大小为 4.48×4.48 公里的地块，地理范围一致，便于深度学习模型的直接应用。
框架
数据预处理工具：提供 geetiles 和 sartiles 工具，从 Google Earth Engine 提取和处理 SAR 与光学数据，确保地块大小（4.48×4.48 公里）的一致性。 自监督学习：集成 Masked Autoencoders (MAE) 等方法，通过无标签数据学习特征，提升跨区域泛化能力。 多任务支持：同时处理土地覆盖分类、植被覆盖率估算和变化检测等任务，可灵活调整任务权重。 分布偏移分析：使用 Wasserstein 距离评估跨区域特征分布差异，验证自监督学习特征的泛化能力。
分析
数据特征分布
使用 Wasserstein 距离评估不同区域间特征分布，SAR 数据和地形特征的区域偏移较光学数据更显著。 PCA 降维显示光学特征分布一致性较高，而 SAR 数据在地形复杂区域差异较大。
通过 Masked Autoencoders (MAE) 生成嵌入特征，表现出良好的跨区域一致性。 自监督特征有效减少区域间分布偏移，提高泛化能力。
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
