ECCV 2024 | GeMap:矢量化高精地图在线构建

文摘   2024-08-20 23:42   上海  

Projection:https://github.com/cnzzx/gemap

Arxiv:https://arxiv.org/abs/2312.03341

本期概述

哈喽晚上好~各位天命人!

有位同学说,他就喜欢摸鱼的时候刷[端到端自动驾驶]李小毛来做个统计~大家也是在边摸鱼边充电嘛!

昨天我们分享了感知和高精地图匹配的定位方法,通常,该任务的难点在于感知与地图的同步性通常比较差~插班生请复习!

百度智驾 | 跨模态匹配算法实现厘米级高精定位!

本期我们学习一个在线HDMap构建的方法:GeMap,希望能够解决高精地图缺失的问题!一起来看看吧!

GeMap集中在利用几何形状和实例关系来改进在线高精地图构建的精度和效率。研究创新点在于:

  • 提出了几何损失(Euclidean Loss)函数,优化几何形状和实例间的几何关系,增强地图构建的准确性。

  • 引入了几何解耦注意力机制(Geometry-Decoupled Attention),来处理实例间的几何关系

GeMap主要应用了全局坐标下,地图元素的不变性。(b)图中表示,使用相对坐标时,地图元素发生改变

PipeLine

高精地图的在线矢量化构建。包括BEV特征提取,几何解耦解码器。BEV特征提取主要是从相机输入提取特征。几何解耦解码器生成矢量化地图

BEV特征提取:这部分对地图元素进行相对位置编码。这部分公式表示很繁琐这里为大家高度提炼一下!

地图元素相对位置编码即每个地图元素内部角点的相对位置编码以及地图要素之间的相对位置编码。这部分用图例更容易理解!

元素内部角点的相对位置编码。左侧为一个矩形要素(例如停车位),左侧为直线要素(例如减速带,停止线)。要素的角点使用点之间的向量,以及向量夹角表示相对位置关系。


两组地图要素之间的相对关系。包括三类:平行度(Parallelism) : 如果两个向量之间的夹角 ,则说明它们是平行的。

垂直度(Perpendicular):图中还展示了当两个位移向量之间的夹角 时,表示它们是垂直的。这种垂直关系在道路交叉口或车道分隔线中经常出现。

车道宽度(Lane Width):对于平行的车道线,不同点之间的距离 

计算为车道宽度。

几何解耦解码器:这部分使用transformer计算矢量地图的自注意力和交叉注意力。原文的解释也比较拗口,我们提炼一下!

通常来说,transformer的输入特征表示为每个元素的角点,使用传统的transformer的话,只能计算每个角点的自注意力和交叉注意力,不会考虑到由角点组成的地图元素编码,于是这里加入了注意力掩膜。

用这张图就能很好理解啦!对于拓扑元素的自注意力,会把每个元素的部分拎出来,组成左图中的深绿色部分,每一个深绿色块表示一个元素(图例中,每个元素包括两个角点)。对于拓扑元素的交叉注意力,也很好理解,把自注意力的其余区域提取(右图中的深绿色部分)即可!


Euclidean Loss

欧式损失(Euclidean Loss),主要是解决上面提出的相对位置编码的损失计算问题。损失函数主要包括两个部分:形状损失(Shape Loss)和关系损失(Relation Loss)。
形状损失: 表示为对应角点的特征向量的差值,计算公式如下:
其中, 分别表示第 个实例中第 个点的位移向量的大小和相邻向量之间的角度, 是模型预测的对应值。
关系损失: 计算不同实例之间的几何关系误差,其计算公式为:
其中, 表示第 和第 个实例中第 和第 个点之间的距离和角度, 是模型预测的对应值。权重 用于减少与实例之间距离较远的点对模型优化的影响。
整体的欧式损失函数 被定义为形状损失和关系损失的加权和:
其中, 是形状损失和关系损失的权重系数。
总损失函数:引入分类损失 、分割损失(segmentation loss) 和深度估计损失(depth estimation loss) 。最终的总损失函数定义为:
Experiments

在nuScenes数据集上不同方法的比较结果。在使用Swin Transformer和EfficientNet-V2-99作为骨干网络的配置时,具有最好的地图构建效果。同时GeMap具有较好的实时性

在不同天气下,具有最优的表现

GeMap方法在处理复杂道路场景的可视化结果。GeMap在处理多变和复杂道路条件下生成的高精地图效果最好。尤其是车道间的平行度

本期结语

李小毛理解,本项研究工作主要是引入了要素之间的相对位置关系,进而更好的预测局部高精地图要素分布!这个思路似乎在拓扑匹配中经常用到,但是引入到模型预测中确实是一种非常有趣的创新~


往期回顾
百度智驾 | 跨模态匹配算法实现厘米级高精定位!
中科院&加州大学 | GenAD:生成式端到端自动驾驶框架
强推收藏!使用大语言模型的自动驾驶方案研究综述
理想汽车自动驾驶方案 | DriveVLM:自动驾驶与大型视觉语言模型的融合方法
如果对你的开发、科研有帮助,拜托拜托关注我们。我们将持续奉上优秀的端到端自动驾驶领域研究的分享干货!
温馨提示:点赞=学会,收藏=精通
点击在看,我们一起充电!

端到端自动驾驶
关注AD(Autonomous Driving)行业最前沿的人工智能解决方案,致力于打造为一个自动驾驶从业者及相关科研学者们的课外充电,技术分享,以及社区交流的服务平台!
 最新文章