TGRS | PolyRoad: 北大, 达摩院团队提出道路边界检测的transformer网络

文摘   2024-11-20 09:31   荷兰  

 RS   DL 

论文介绍

题目:PolyRoad: Polyline Transformer for Topological Road-Boundary Detection

期刊:IEEE Transactions on Geoscience and Remote Sensing

论文:https://ieeexplore.ieee.org/document/10364754

年份:2024
单位:北京大学,阿里巴巴达摩院

创新点

  • 任务转化:将道路边界检测任务从传统的图增长问题转化为多实例折线检测问题,实现了一种新的检测范式。
  • 模型架构:基于Transformer的PolyRoad模型能够并行检测所有道路边界折线,大幅提高了推理速度。
  • 匹配策略:开发了折线(polyline)匹配代价函数,针对open和closed 折线的顺序进行优化,解决了多折线的二分匹配问题。
  • 多层监督损失:提出点级(顺序感知L1损失)、方向级(方向损失)和像素级(掩膜损失)的监督机制,从不同层次约束折线的几何特性。

数据

Topo-boundary 数据集

  • 数据规模:
    • 共 25,295 张图像(1000 × 1000 像素)。

    • 分为训练集(20,236 张)、验证集(1,770 张)和测试集(3,289 张)。
    • 标注格式:
      • 提供 8 种标注类型,包括折线序列、二值图和实例图。

      • 本文采用折线序列标注,并对每条边界均匀采样 500 个点以标准化表示。
      • 特点:
        • 场景复杂,涵盖直路、弯道和交叉口。

        • 数据量大,适合深度学习模型训练和评估。

        方法

        任务转化

        传统方法将道路边界检测建模为逐点图增长问题,而本文创新性地将其转化为多实例折线检测问题:
        • 道路边界被表示为独立的折线(开口open或闭合closed),可以并行检测。

        • 通过Transformer的全局感受野,更适合检测细长且分布广泛的道路边界。

        模型架构

        PolyRoad 模型由三个模块组成

        (1) 图像特征提取器

        • 采用ResNet-50作为骨干网络,从输入图像中提取多层次特征。

        • 提取的特征通过位置编码加入空间位置信息,为后续折线特征提取做好准备。

        (2) 折线特征提取器

        • 使用基于Transformer的编码器-解码器架构:
          • 编码器:通过自注意力机制整合全局上下文信息,捕捉道路边界的长距离特性。

          • 解码器:输入随机初始化的折线查询,利用自注意力机制在查询间交互信息,并通过交叉注意力从图像特征中捕捉上下文。

        • 最终输出折线实例的特征,供后续折线生成模块使用。

        (3) 折线生成器

        • 根据折线特征,输出所有道路边界折线的点序列。

        • 结合多任务学习,增加三个辅助任务:
          • 道路分类:判断每个折线是否属于道路边界。

          • 边界框检测:预测道路边界的包围框。

          • 关键点分类:标注折线中的关键点,有助于移除冗余点,提高效率。

        折线匹配代价函数

        • 在所有预测折线和真实折线之间进行匹配,针对 open 折线的正反顺序和 closed 折线的多起点方向进行全面考虑。
        • 匹配结果用于指导后续的损失计算,确保模型能够有效学习到折线实例的空间和几何特性。
        损失设计
        • 点级监督:使用顺序感知的机制确保折线点的绝对位置精确,解决open和closed折线的排列问题。

        • 方向级监督:通过相邻点的相对位置约束,优化折线的几何形状和平滑性。

        • 像素级监督:将折线转为二值掩膜,通过像素级对齐提高边界的定位精度。

        实验与分析

        本文提出的PolyRoad模型在像素级和几何级指标上均表现优异,显著优于现有方法。同时,模型具备更快的推理速度,并能在复杂场景中生成平滑且连贯的道路边界预测。

        精度对比

        可视化对比

        更多图表分析可见原文


        因配置了AI回复功能,除关键词自动回复外,号内信息主要由AI大模型回复。如需资源、投稿、合作等,请直接联系小助手微信(添加请备注:咨询投稿合作加群,加群需备注姓名/昵称,单位和研究方向)。

        公众号欢迎优秀作者投稿!可加入优秀论文作者群:欢迎加入AI遥感优秀论文作者群!


        问题及讨论可直接在文章下方留言



        相关链接:

        RSE | 刚果盆地道路发展监测, 基于深度学习和多源卫星影像

        论文赏读 | TGRS | 遮挡感知的道路提取网络OARENet,用于高分辨率遥感影像

        论文赏读 | CVPRW24 | SAM用于遥感影像中提取向量化的道路网络

        NeurIPS24 | OpenSatMap: 细粒度高分辨率卫星数据集, 中科院和腾讯等提出的用于大规模制图的数据集

        遥感竞赛 | 近期竞赛总结, 含道路提取, 变化检测, 高光谱影像分类, 目标检测追踪, 图像去云等

          欢迎关注  


        分享遥感与深度学习领域的技术、论文、书籍、新鲜事。



        欢迎加入遥感与深度学习交流群(点此加入)


        遥感与深度学习
        聚焦遥感与深度学习,分享相关技术、论文、书籍、资讯,团队来自国内外著名期刊作者及审稿人
         最新文章