RS DL
论文介绍
题目：EarthNets: Empowering Artificial Intelligence for Earth Observation
期刊：IEEE Geoscience and Remote Sensing Magazine
论文：https://ieeexplore.ieee.org/abstract/document/10731951
平台：https://earthnets.github.io/
主要内容
全面数据集综述与分类
系统性地回顾了500多个公开遥感数据集，并按任务（如分类、检测、分割等）进行详细分类。首次从体量、分辨率、模态等多维度对遥感数据集进行深度分析。遥感数据集排名与关系分析
提出了基于数据集属性的排名和亲和关系分析方法，有助于整合相似数据集以支持大规模基础模型训练。构建EarthNets开放平台
开发了一个统一的遥感任务平台，支持公平的算法性能评估，并简化了数据集获取和使用的流程。推动基础模型与多模态研究
整合了视觉语言和其他模态数据，支持大规模预训练和下游任务微调，开辟了遥感与深度学习的交叉创新方向。
遥感数据集分类汇总
描述：图像分类任务以图像或影像块为单位，赋予特定的类别标签。 代表数据集： 农业：如Brazilian Coffee Scene、CropHarvest，提供作物分类数据。 一般场景：如Million-AID（包含100万实例用于场景分类）、NWPU-RESISC45（多场景分类，45类标签）。 土地利用/土地覆盖（LULC）：如BigEarthNet，结合多模态（SAR与光学）的数据源。
描述：目标检测任务标注对象的边界框，常用于建筑物、飞机、船舶等目标检测。 代表数据集： 船舶检测：如SSDD、Airbus Ship Detection。 建筑物检测：如SpaceNet系列，涵盖多时相和多模态数据。 车辆检测：如VEDAI，用于无人机高分辨率影像下的车辆检测。
描述：像素级标注任务，为每个像素分配语义标签，用于更精细的场景解析。 代表数据集： LULC分割：如DFC20，基于多模态数据（Sentinel-1和Sentinel-2）。 建筑物提取：如SpaceNet-7（多时相城市影像）和INRIA Aerial Image Labeling。 云检测：如Sentinel-2 Cloud Detection。
描述：通过时间序列数据分析地表变化，如灾害监测、城市发展。 代表数据集： 建筑物变化：如SECOND，用于3D建筑物变化检测。 灾害评估：如Sen1Floods11，用于洪水检测。 土地覆盖变化：如Dynamic World，提供多时相的像素级标注。
描述：结合自然语言和遥感图像的任务，用于多模态研究。 代表数据集： 视觉问答：如ChatEarthNet，支持基于遥感影像的问答。 图像描述：如RS5M，包含图像和自然语言描述对。
数据集分析
数据集分析
研究领域
数据集被广泛应用于农业、建筑物提取、土地利用/土地覆盖（LULC）、灾害监测等领域。 农业和LULC数据集占比最高，表明这些领域的研究需求最为强烈。
发表年份
数据集的数量呈逐年增加趋势，特别是近十年增长迅猛。 大型、多模态数据集在近年更为普遍，为大规模深度学习模型提供了更多可能性。
样本数量
数据集样本规模从数百到上百万不等。 任务复杂性和样本数量相关：如语义分割和变化检测任务通常需要更大样本量以支持像素级标注。
分辨率
图像分辨率从低分辨率（>30米）到超高分辨率（亚米级）。 高分辨率影像：适用于目标检测、语义分割任务，细节丰富。 低分辨率影像：多用于大范围区域监测，如土地覆盖变化检测。
类别数量
类别数量从简单的二分类任务到复杂的多分类任务。 例如，LULC任务通常包含多个类别（如森林、建筑物、水体等），任务复杂度随着类别数量增加而提高。
数据模态
包括光学影像（RGB）、多光谱、SAR、超光谱、点云数据等。 多模态数据集：整合多种数据源（如光学和SAR影像），支持跨模态研究。 不同模态适用的任务：SAR影像更适合灾害监测，光学影像则适用于精细分类。
数据体量
小型数据集：多为区域性、单时相影像。 大型数据集：涵盖多时相、全球范围数据（如Sentinel系列）。
数据集体量差异显著，从几GB到PB级不等。 数据体量与采集区域范围、时间序列深度有关：
数据链接
提供获取数据的在线资源链接，如EarthNets整合的公开数据集。 在线资源提高了研究者对数据的可获取性和使用效率。
数据集的特点总结
数据集覆盖的领域和任务广泛，但存在一定的地理和分辨率偏差。
多模态数据成为研究热点，尤其是光学与SAR结合的数据。
大型、高分辨率、多类别数据集逐渐增加，为遥感领域深度学习模型开发提供了更多选择。
数据关系分析
共享特性：地理区域、模态或分辨率相似的数据集可以联合使用。
整合潜力：相似任务的数据集可用于迁移学习和多任务模型训练。
跨模态任务：多模态数据集之间的关联性为多模态融合研究提供支持。
数据集排名与基准构建
基准构建的必要性
目前遥感数据集缺乏统一标准和固定划分（训练、验证、测试集），导致模型评估难以公平比较。
小规模数据集可能存在地理偏差，无法反映真实场景分布。
排名与选择方法
数据集排名标准
基于数据集的体量、分辨率、类别数量、模态等属性对数据集进行评分和排名。
选择具备代表性、覆盖广泛、支持多任务的数据集。
基准构建策略
确定标准的训练、验证、测试集划分方案。
覆盖分类、检测、分割等核心任务，确保多任务评估的适用性。
优化了数据集标注与模型适配性，减少不同任务间的不一致性。
EarthNets平台
EarthNets是一个针对遥感任务开发的开放平台，旨在解决遥感数据集和模型评估中存在的多样性与公平性问题。该平台为研究者提供标准化的基准数据、评估工具和多任务支持，推动遥感领域的发展。
主要特点
公平评估 提供标准化的训练、验证和测试集划分，减少不同数据集使用方法导致的偏差。 统一评估指标与框架，支持算法性能的公平比较。 数据集整合 汇集了多个遥感领域的代表性数据集，涵盖分类、检测、语义分割、变化检测等任务。 提供了获取这些数据集的便捷链接（如通过EarthNets官网）。 任务多样化 支持广泛的遥感任务，如图像分类、目标检测、变化检测和视觉语言理解。 平台内包含跨模态数据集，为多模态研究（如视觉-语言结合）提供基础。 高效方法开发 平台支持深度学习模型开发，提供预处理、数据加载和模型评估的工具。 集成了现代深度学习技术，简化算法适配不同数据集的流程。 开放与协作 通过开放访问的形式，鼓励研究者共享资源和成果。 平台设计为可扩展结构，支持未来更多数据集和任务的整合。
主要功能模块
基准构建 选定的五个大规模数据集用于建立统一基准。
数据集经过标准化处理，支持多任务评估。 工具与资源 集成深度学习模型的开源代码库。
提供了评估标准、预训练模型和性能比较工具。 社区支持 鼓励研究者参与数据集更新和模型优化。
提供论坛和技术支持，促进学术交流和合作。
多任务评估 使用EarthNets基准数据集，对遥感核心任务（如分类、目标检测和语义分割）进行实验。 比较了多种深度学习算法在统一基准上的表现。 算法性能比较 实验结果展示了不同算法在各种任务上的优劣势。 验证了EarthNets平台支持公平性能比较的能力。
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
