RS DL
论文介绍
题目：OpenSatMap: A Fine-grained High-resolution Satellite Dataset for Large-scale Map Construction
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2410.23278
主页：https://opensatmap.github.io/
数据：https://huggingface.co/datasets/z-hb/OpenSatMap/tree/main
创新点
高分辨率图像：OpenSatMap使用分辨率为0.15米的图像，超过了现有数据集的分辨率。 精细化实例级标注：提供了车道、路缘等实例的多种属性（例如颜色、类型、功能），并根据实际应用需要进行了分段标注，支持复杂的车道结构识别。 大规模和多样性：数据集覆盖60个城市、19个国家，包含38,000张图像及约445,000个实例。 与自动驾驶数据集对齐：涵盖了nuScenes和Argoverse 2自动驾驶数据集的区域，并在GPS定位上进行了对齐，方便自动驾驶相关应用。
背景
OpenSatMap数据集的创建源于当前数据集的局限性，如分辨率低、标注粗略、规模较小以及未对自动驾驶数据集进行对齐。这些因素限制了在交通导航和自动驾驶领域对高精度地图构建的支持。现有数据集难以解析城市中复杂的车道结构，如转弯车道或多层立交桥。
数据
1. 数据来源
OpenSatMap数据集的图像数据来源于Google Maps的公共Maps Static API，涵盖多样化的地理区域，并经过Google处理以去除敏感信息。数据采集经过精确验证，以确保分辨率的准确性。
2. 数据分辨率
分辨率：数据集包含20级分辨率的图像（0.15米/像素），这是目前最高的卫星图像分辨率，能够清晰呈现道路细节。对于部分区域，也采集了19级分辨率的图像（0.3米/像素），称为OpenSatMap19，以补充无法提供20级分辨率的区域。
图像尺寸：20级图像为4096×4096像素，19级图像为2048×2048像素。
3. 地理多样性
数据集涵盖60个城市和19个国家，包括不同地形、路况和交通规则的区域，以保证地理上的多样性。具体而言，采集地点考虑了：
典型城市：如主要都市中心和具有代表性的地理区域。
多样地形：包括平原、山地、沙漠等，以涵盖不同自然环境。
道路密度：采集城市和郊区的道路，以区分城市中心和较少建筑的地区。
特殊道路结构：收集了具有特定结构（如立交桥、环岛、曲折道路）的区域，以支持复杂道路类型的识别。
4. 标注数据
4.1 实例级标注
路缘：作为道路的边界。
车道线：明确分隔道路的线条。
虚拟线：逻辑上存在但不可见的边界，用于在没有实线的情况下定义完整的车道。
颜色：如白色、黄色等。
线型：包括实线、虚线、粗实线、短虚线等。
功能：如公交专用车道、减速车道、停车区、导向线等。
此外，对于具有不同行驶方向的道路，标注了双向行驶的属性。同时考虑了遮挡情况（如树木、建筑物等），将遮挡程度分为无遮挡、轻度遮挡和重度遮挡。
4.2 图像级标注
图像清晰度：分为完全清晰、部分清晰和不清晰三类。
车辆密度：根据车距划分为密集、中等和稀疏三个层次。
定居类型：标注图像的周边环境类型，如城市、郊区或农村。
特殊道路结构：标识是否包含立交桥、环岛、曲折路段等结构。
5. 与自动驾驶数据集对齐
OpenSatMap对齐了自动驾驶领域的常用数据集nuScenes和Argoverse 2，覆盖了它们的数据采集区域。这种对齐支持自动驾驶系统在卫星数据上完成地图构建任务，促进了自动驾驶高精地图的生成。
6. 数据集规模
OpenSatMap包含大量高分辨率标注图像，具体数量如下：
OpenSatMap19：包含1806张2048×2048的图像。
OpenSatMap20：包含1981张4096×4096的图像。
每张图像中都包含道路线条的多种实例和丰富的属性标注，总计约445,000条线段实例，为深度学习模型提供了丰富的标注信息。
7. 数据划分
数据集按照6:2:2的比例划分为训练集、验证集和测试集，以便研究人员进行模型开发和评估。
8. 数据集的发布和维护
OpenSatMap作为开放数据集，遵循非商业研究用途的使用限制，并将在其项目页面长期维护和更新。
实验
1.实例级线状目标检测实验
该实验的目标是对每条车道线、路缘等道路实例进行精细检测，评估其实例级表现。
语义分割：利用SegNeXt网络对输入图像进行语义分割，每个像素被分为不同的语义类别，如车道、路缘、虚拟线等。
实例检测：在每个类别的二值掩码上使用分水岭算法生成实例级掩码。
实例矢量化：将每个实例以多边形向量表示，通过连接相邻的采样点生成实例线条，并进行去噪。
实例级评价指标
平均精度（AP）：AP用于评价实例检测的精度。具体来说，采用Mask AP（APM）和Chamfer AP（APC）两种方法来衡量实例的检测质量。
Chamfer距离：由于道路实例通常较窄，直接采用IoU进行匹配可能过于严格，因此引入Chamfer距离来计算实例预测结果与真实值的匹配程度。
在语义级分割方面，采用了平均交并比（mIoU）作为主要评价指标，评估模型对每个语义类别的识别能力。
实验结果
实验结果显示，实例级线条检测的难度远高于语义级分割，APM和APC得分都显著低于mIoU。这表明对实例级线条的检测仍然具有很大的挑战性，需要进一步探索更有效的端到端方法。
2. OpenSatMap在自动驾驶中的应用实验
实验基于HDMapNet方法，采用了SatforHDMap的改进模型，将OpenSatMap的卫星图像作为额外输入，以提升自动驾驶地图构建的精度。与分实验结果显示，加入OpenSatMap卫星图像作为辅助输入显著提高了在线地图构建的精度。
更多图表分析可见原文
问题及讨论可直接在文章下方留言
相关链接：
ISPRS | 688个城市1000万张街景综合数据集, 可直接下载
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
