![]()
Projection：https://github.com/qintonguav/ParkingE2E
Arxiv：https://arxiv.org/pdf/2408.02061
本期概述
哈喽大家上午好！美丽的一天从整整齐齐上班开始！今天分享一个特别实用的模型：ParkingE2E！
为啥说实用嘞？因为目前各家自动驾驶厂的模型方法基本都是模块化设计，其中自动泊车方案通常会设计一个单独的小模块。想必今天的论文能够给大家一些研发上的启发~
![]()
ParkingE2E：从图像到规划的端到端泊车网络。ParkingE2E通过模仿人类驾驶轨迹进行规划，采用目标查询编码器融合图像和目标特征，并使用基于Transformer的解码器自回归地预测未来的路径点。看起来是那么回事！我们来学习一下吧~
![]()
PipeLine
![]()
该模型分为三个阶段：输入阶段、端到端模型、输出阶段。输入阶段，使用车载环视摄像头捕获车辆周围环境的多视角RGB图像，同时用户在停车场景中指定目标停车位。端到端模型阶段：（1）RGB图像通过转换为鸟瞰图（BEV）特征。（2）目标停车位的位置通过目标编码器转换为BEV目标特征。（2）通过目标查询机制，将相机特征与目标特征进行融合，确保空间一致性。（3）融合特征并预测未来的路径点。输出阶段：模型输出预测的路径点序列，用于车辆控制系统执行转向和速度控制，完成停车操作。
输入阶段&BEV编码：这部分主要完成BEV场景编码、目标停车位编码、编码融合三个步骤。
BEV场景编码：编码器模块首先利用EfficientNet从RGB图像输入中提取图像特征。EfficientNet能够在不牺牲准确性的情况下减少计算资源的消耗。提取到的图像特征用符号 表示，其中 是特征通道数， 和 分别是图像特征的高度和宽度。为了在图像特征中融入深度信息，研究者采用了类似于LSS（Lift, Splat，Shoot）的方法，学习图像像特征相乘，以获得包含深度信息的图像特征:利用相机的外参和内参信息，将上述包含深度信息的图像特征 投影到BEV体素网格上，生成相机特征 。BEV特征的空间范围在x方向上为 米， y 方向为 米。目标停车位编码：分为两个阶段：热图生成、深度CNN提取。（1）热图生成，即在BEV坐标系中，创建一个热图矩阵，在目标停车位对应的坐标位置赋予较高的特征值。（2）深度CNN：提取出高维特征表示，形成目标特征 。该特征表示保留了目标停车位在BEV空间中的位置信息，并为后续的特征融合过程提供了基础。编码融合：通过将 作为查询、 作为键和值，使用注意力机制来融合两种特征，从而获得融合特征 :![]()
target query的结构，实际完成的是编码融合步骤。有件不是事儿的事儿，吐槽一下，这张图放在论文里是不是为了凑篇幅。。。没关系，这张图放在这篇推文里，同样是为了凑篇幅
路径解码器（Trajectory Decoder）：从融合特征中生成车辆的路径点，采用了基于 Transformer的自回归预测方法，通过序列预测的方式逐步生成车辆的轨迹点，最后使用PID控制器控制车辆速度及转角。序列化过程：将轨迹点表示为离散的序列标记。序列化的公式如下：其中， 和 是第 条轨迹中的第 个点在车辆坐标系中的 和 坐标， 和 分别为 和 方向的预测范围， 是可被序列化的最大标记值。这个序列化过程将连续的轨迹点转换为离散的序列，从而可以通过Transformer来进行预测。预测轨迹：序列化后的轨迹点被用作输入序列的查询（Query），BEV特征作为键（Key）和值 (Value)，通过自回归方式逐步预测出后续的轨迹点。公式如下:其中 表示序列化的轨迹点查询， 和 分别是来自BEV特征的键和值。控制器：在停车开始时刻（即时间 ）根据端到端神经规划器生成的路径 。路径 表示从起始位置到目标停车位的轨迹，由一系列的路径点构成。在执行过程中，车辆的相对位置变化由定位系统实时测量，表示为 。横向控制的目标是确定车辆的目标转向角 ，该角度由后轮反馈（Rear-wheel Feedback，RWF）方法计算，该方法的公式为:公式中的RWF方法根据车辆相对于预测轨迹的位置偏差来调整转向角度，以保持车辆沿着正确的路径行驶。在纵向控制方面，控制器结合来自底盘的速度反馈和转向反馈，以及设定的目标速度和计算得到的目标转向角，使用级联PID控制器来实现车辆的速度和方向控制。![]()
上面一行是室外停车场景，下面一行是室内停车场景。可以看到，即使存在临近停车位的车辆或墙壁等障碍物，模型仍然能够有效地操控车辆并将其停入指定位置。李小毛理解，本项工作应该属于中规中矩的研究,虽然没有模块上的创新,但是属实实用！能否为大家带来启发呢？我们评论区深度讨论！如果对你的开发、科研有帮助，拜托拜托关注我们，我们将持续奉上优秀的端到端自动驾驶领域研究的分享干货！![]()
温馨提示：点赞＝学会，收藏＝精通![]()
