欢迎关注微信公众号“机器人具身智能”
论文题目：LaMPilot: An Open Benchmark Dataset for Autonomous Driving with Language Model Programs
论文链接：https://arxiv.org/pdf/2312.04372
代码链接：https://github.com/PurdueDigitalTwin/LaMPilot
一、方法
自动驾驶（AD）在近年取得了显著进展。然而，现有的框架在解释和执行用户即时指令（如“超越前方车辆”）方面仍存在挑战。大型语言模型（LLMs）展示了令人印象深刻的推理能力，显示了弥合这一差距的潜力。在本文中，我们介绍了LaMPilot，这是一个新颖的框架，将LLMs集成到AD系统中，使它们能够通过生成利用已建立的功能原语的代码来遵循用户指令。我们还推出了LaMPilot-Bench，这是第一个专门设计用于定量评估LLM程序在AD中有效性的基准数据集。采用LaMPilot框架，我们进行了大量实验，评估了现成的LLMs在LaMPilot-Bench上的表现。我们的结果展示了LLMs在处理多样化驾驶场景和遵循驾驶指令方面的潜力。
本文的主要贡献：
我们提出了LaMPilot，这是一个新颖的框架，将LLMs集成到自动驾驶系统中，增强其解释和遵循用户命令的能力。
我们引入了LaMPilot-Bench，这是第一个旨在评估LLM驱动的代理在自动驾驶中表现的基准数据集。LaMPilot-Bench中的每个场景都包括一个用自然语言描述的任务，以及一个模拟环境，用于全面评估。
采用LaMPilot框架，我们进行了大量实验，评估现有LLMs在LaMPilot-Bench上的表现。我们的结果展示了LLMs在处理多样化驾驶场景和遵循用户指令方面的巨大潜力。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
本文介绍了LaMPilot，这是一个将大型语言模型（LLMs）集成到自动驾驶（AD）系统中的新框架，使其能够在多样化的驾驶环境中实现类似人类的交互。我们还创建了LaMPilot-Bench，这是一个用于评估基于LLM的代理在AD中遵循指令能力的基准数据集。我们的实验表明，现成的LLMs可以根据人类指令生成驾驶任务的代码策略。然而，显著的碰撞率表明需要进一步研究以全面理解现实驾驶场景的复杂性和安全要求。LaMPilot为利用LLMs解决AD相关任务提供了一个起点。随着LLMs的不断演进和与更多模态的整合，我们预见未来它们能够显著促进安全、高效和用户友好的自动驾驶车辆的发展。
欢迎关注微信公众号“机器人具身智能”
