深度解读|U-BEV:自动驾驶场景的重建和定位

文摘   2024-08-04 00:57   江苏  

Arxiv:‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍http://arxiv.org/pdf/2310.13766

本期概述

哈喽大家好,高效的重定位对于GPS信号不佳或基于传感器的定位失败的智能车辆至关重要。尤其是地下停车库、隧道等RTK数据不可用的场景,单纯依靠相对定位必定会随时间产生定位累计误差。弱RTK环境下的重定位一直是自动驾驶定位重点。最近,Bird’s-Eye-View (BEV) 分割的进展使得能够准确地估计局部场景的外观,从而有利于车辆的重定位。然而,BEV方法的一个缺点是利用几何约束需要大量的计算

U-BEV融合了多层高度信息,提高了BEV分割精度和实现基于神经网络编码的实时重定位。通过引入高度感知的特征嵌入,该方法有效地利用了场景的深度维度,而无需进行大量计算。

本篇论文的创新点有

轻量级架构: U-BEV是一种轻量级的BEV架构,通过几何约束和高度信息的结合,减少了对计算资源的需求。同时,通过跳跃连接保持了模型的高分辨率输出。
实时全局定位: 提出了基于神经BEV和神经编码SD地图的实时全局定位算法。该算法能够在不同场景下实现高效的车辆重定位。

PipeLine

U-BEV论文Pipeline分为三个部分:局部BEV分支、定位模块和全局地图分支。局部BEV分支,使用多个相机拍摄的全景图像作为输入,通过U-BEV网络生成局部鸟瞰视图(BEV)。定位模块使用QATM(Quality-Aware Template Matching)深度模板匹配算法,将神经BEV与全局地图中的神经表示进行匹配,进而估计车辆的精确位置。全局地图分支接收初始位置先验,与局部BEV进行匹配,以实现高精度的重定位。

1. 局部BEV分支:U-BEV模块是该论文的核心部分,用于将来自多个摄像头的图像输入转化为鸟瞰视图(BEV)。U-BEV结合了U-Net的优点,通过高度感知的特征嵌入来提高BEV重建的精度。

输入全景图像
输出:局部BEV特征、高度预测图

特征提取模块(蓝色),该模块使用预训练的网络从图像中提取多尺度特征,为高度预测和BEV生成提供基础。高度预测模块(橙色)对每个像素进行高度预测,帮助理解场景的深度和几何结构。这些高度信息在BEV生成模块中形成三层不同高度的BEV特征图,捕捉环境中的细节。

2. 图编码模块(Map Encoding):图编码模块输入SDMap,通过特征图编码,这个表示与局部BEV表示在后续中匹配。

3. 定位模块(Localization module)定位模块通过U-BEV生成的局部BEV表示和全局SD地图的数据片进行匹配。其通过一个深度模板匹配模块来计算局部神经BEV和全局神经地图之间的相似度地图:


其中,局部BEV是根据初始位置先验裁剪的地图数据,QATM代表质量感知模板匹配模块。为了从相似度地图中提取精确位置,定位模块应用了Soft-Argmax,将粗略位置先验和局部环境特征结合起来:


其中,W是位置索引矩阵,表示每个地图位置的坐标。
Experiments

BEV分割任务

在BEV分割任务中,U-BEV的表现优于Cross-View Transformer (CVT)等基线方法。在可驾驶区域、人行道和过道的IoU指标上,U-BEV分别提升了1.7、2.8和2.3个百分点。U-BEV通过多层高度编码有效捕捉了场景中的几何信息,能够在保持较低计算复杂度的同时提供更高的分割精度。实验结果表明,U-BEV架构在不同类别的分割任务中都展示了显著的性能提升。

定位任务

在车辆定位任务中,U-BEV在多个距离阈值(1m、2m、5m、10m)的召回准确率上表现出色,特别是在较大距离阈值下(5m和10m),U-BEV的准确率分别提高了21.1%和26.4%。这一结果表明,U-BEV不仅能够在特征丰富的区域中提供高精度定位,还能在特征稀疏的场景下保持优异的性能。这一优越表现归因于U-BEV能够有效利用道路网络的形状信息,而不仅仅依赖于显著的语义标志物。

本期结语
学习完这篇文章,李小毛发现这篇文章可以很不错的解决路口车道级的定位问题~算是一个比较偏向自动驾驶应用层面的研究作品!给小编的工作也带来了新的思路!欢迎大家在留言区进行深度讨论!
往期回顾
GaussianBEV:首次将3D Gaussian引入BEV感知应用
无需模块化和 3D 手动标注的端到端自动驾驶,UAD框架解析(1)
高度提炼 | DreamCar??严肃!这个可不是魅族汽车!在moving-froward场景中的3D车辆重建!
ICML 2024 | Best Paper新鲜出炉!AIGC持续霸榜中... ...
深度聚焦|最强落地端到端自动驾驶算法!Tesla FSD v12公开模型分享!
如果对你的开发、科研有帮助,拜托拜托关注我们,我们将持续奉上优秀的端到端自动驾驶领域研究的分享干货!

温馨提示:点赞=学会,收藏=精通
点击在看,我们一起充电!



端到端自动驾驶
关注AD(Autonomous Driving)行业最前沿的人工智能解决方案,致力于打造为一个自动驾驶从业者及相关科研学者们的课外充电,技术分享,以及社区交流的服务平台!
 最新文章