清华等：端到端自动驾驶系统的关键技术与发展趋势

导读：随着以ChatGPT为代表的生成式人工智能的发展，端到端自动驾驶系统得到了广泛关注，有望为通用场景的驾驶智能带来革命性突破。以全部模块神经网络化为特征的端到端系统对专家规则的依赖度低，功能的集约性与实时性强，具备智能涌现能力和跨场景应用潜力，是实现数据驱动自进化驾驶能力的重要途径。

论文地址：

https://aiview.cbpt.cnki.net/WKD/WebPublication/paperDigest.aspx?paperID=60ba64c1-3dee-4986-bed9-f86b98006872

下载链接：
https://kns.cnki.net/kcms/detail/detail.aspx?filename=DKJS202305001&dbname=cjfdtotal&dbcode=CJFD&v=MjMyODFTYkJmYkc0SE5MTXFvOUZaWVI2RGc4L3poWVU3enNPVDNpUXJSY3pGckNVUjdtZVplWnJGeXJsVjd2Skk=

数据、算力和算法是大模型发展的支柱，其中算法是大模型的核心技术体现。现有大模型多以Transformer结构为基础，采用“预训练（Pre-training）+微调（Fine-tune）”技术进行参数学习，使之适配不同领域的具体任务，经剪枝压缩后完成最终部署。本节将围绕网络架构、预训练、微调和剪枝压缩四个方面对大模型关键技术进行介绍。

大模型的出现得益于深度学习浪潮中深度神经网络的发展。深层网络的学习建模能力更强，有利于模型的性能提升。

在2017年，Google提出了神经网络结构Transformer（图1），大幅提升了网络表达能力，在CV、NLP等多个领域大放异彩，Transformer现已成为大模型的基础网络结构之一。Transformer是以注意力机制为核心的编解码器结构，其主要结构为注意力、位置编码、残差连接、层归一化模块。Transformer被广泛应用于NLP、CV、RL等领域的大模型中。

预训练是使大模型获得通用知识并加速模型在微调阶段收敛的关键步骤。根据序列建模的方式，语言模型可以分为自回归语言模型和自编码语言模型（图2）。自回归语言模型使用Transformer的解码器结构，根据前文预测下一个词，从而对序列的联合概率进行单向建模。自编码语言模型则利用Transformer的编码器结构，通过预测序列中的某个词来双向建模序列的联合概率。

微调是指将预训练好的大模型在下游任务中进行调整，使之与具体任务更加适配。微调后的大模型与预训练大模型相比，在下游任务中性能通常大幅提升。随着模型规模不断增大，微调所有参数变得十分困难，因此近年来出现了多种高效微调方法，包括Vanilla Finetune、Prompt Tuning以及Reinforcement Learning from Human Feedback（RLHF）等方法（图3）。

训练好的大模型需要部署在算力和内存受限的系统上，因此需要对大模型进行剪枝和压缩，减小模型中的冗余结构和信息，使其能在受限的计算资源上进行快速推理，同时尽量减小对模型精度的影响。大模型的压缩方法主要包括模型剪枝、知识蒸馏和量化。

人工智能技术与自动驾驶技术的融合，关键在于打通以车云协同为核心的边缘场景数据采集和自动驾驶模型训练的在线循环迭代路径。图4展示了车云协同的自动驾驶大模型开发方案：由一定规模具有网联功能的车辆进行众包数据采集，数据清洗和筛选之后上传至云控计算平台；利用云控平台的充足算力，生成海量仿真驾驶数据；融合虚实数据进行场景构建，利用自监督学习、强化学习、对抗学习等方法对自动驾驶大模型进行在线迭代优化；所学大模型经剪枝压缩后得到车规级实时模型，并通过OTA方式下载到车载芯片，完成车端驾驶策略的自进化学习。

具体研究内容包括：（1）面向自动驾驶的大模型基础理论；（2）自动驾驶感知认知通用基础大模型；（3）自动驾驶决策控制通用基础大模型；（4）自动驾驶大数据采集生成与自动标注；（5）车云协同的基础大模型持续进化；（6）自主可控的车用集成部署工具链与平台。

随着大模型技术的不断发展，以ChatGPT为代表的大模型技术展现出令人惊叹的效果。大模型已在多项工业实践中得到初步应用中，有望成为实体经济新的增长引擎。

自动驾驶的感知模块利用传感器采集的数据，实时动态地生成驾驶环境的感知结果。感知大模型是提升车辆自动驾驶能力的核心驱动力之一，这些模型能识别和理解道路、交通标志、行人、车辆等信息，为自动驾驶车辆提供环境感知，继而用于车辆自主决策。

目前在自动驾驶感知方面已有相关应用，例如百度文心UFO 2.0视觉大模型、华为盘古CV以及商汤的INTERN大模型等。

鸟瞰图感知（Bird's Eye View，BEV）是当前主流感知方案之一，它将摄像头、雷达等多源传感器的感知信息转换至鸟瞰视角，并行地完成目标检测、图像分割、跟踪和预测等多项感知任务，如图5所示。典型工作如特斯拉的BEV感知，百度的UniBEV和商汤的FastBEV。

预测是自动驾驶的关键组成部分，它主要涉及对周边交通参与者未来运动状态的预测，也称为轨迹预测。轨迹预测综合考虑道路结构、历史轨迹以及与其他交通参与者的交互关系等信息，输出一条或多条未来可能行驶的轨迹，供下游决策控制任务参考。数据驱动型的轨迹预测方法通常采用编码-解码架构，包括信息表示、场景编码和多模态解码等主要环节。代表工作包括谷歌Wayformer、清华SEPT和毫末智行DriveGPT等。

自主决策与运动控制是自动驾驶的核心功能，决策与控制水平的高低决定了自动驾驶汽车的智能程度。自动驾驶决控系统的技术方案主要经过了三个发展阶段：专家规则型、模仿学习型以及类脑学习型。自动驾驶决策控制大模型的目标是构建以深度学习与强化学习为代表、数据驱动与知识引导相结合的决策控制通用基础模型训练算法，为自动驾驶智能性突破提供解决方案。

目前工业界尚缺乏用于自动驾驶的决策与控制一体化大模型。由清华大学提出的集成式架构（IDC）将决策与控制整合为统一的约束型最优控制问题，利用数据驱动算法求解评价模型与策略模型，它以环境感知结果为输入，直接输出油门、制动、转向等控制指令。IDC 具有在线计算效率高、可解释性强、无需人工标注数据、可自回归地预测下一个动作等优点，为大模型应用于自动驾驶决控奠定了基础。图6为传统专家分层式和集成式决控架构示意图。

端到端的自动驾驶方案将输入的原始传感器数据直接映射输出为轨迹点或低级控制命令，与分层式架构相比，其具有简洁的方案结构与巨大的性能潜力。端到端方案的工业应用面临着数据短缺、学习效率低下和鲁棒性差等问题，尤其无法保障任何极端情况下模型输出的安全性，这将成为其应用于自动驾驶领域的最大挑战。代表工作有上海人工智能实验室的UniAD和特斯拉FSD Beta V12。

随着算力发展与大模型技术的兴起，端到端的自动驾驶将为行业带来新的突破。针对端到端方案，不断降低其技术门槛、进行可解释性研究、以及提出更多保障端到端自动驾驶安全的算法，将是未来热门的研究方向。

以大模型为代表的生成式人工智能是智能网联汽车发展的战略前瞻方向。这需要进一步突破：适用于驾驶大数据的大模型预训练方法和学习理论；泛场景、泛对象、跨模态适用的感知认知和决策控制通用基础模型；仿真环境数据与真实场景数据结合的大规模数据采集与标注系统；车云协同的基础大模型持续进化技术与车用集成部署工具链与平台等。以上技术的攻关将打通以车云协同为核心的驾驶大数据和自动驾驶大模型算法在线循环迭代路径，推动端到端自动驾驶技术在全场景的落地应用。