欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Shao_LMDrive_Closed-Loop_End-to-End_Driving_with_Large_Language_Models_CVPR_2024_paper.pdf
一、方法
大规模数据集已经推动了人工智能驾驶研究的最新进展。然而，这些数据集通常是从单个车辆在特定位置的一次通过中收集而来，缺乏多智能体的交互或同一地点的重复遍历。这种信息可能会显著提升自动驾驶车辆在感知、预测和规划能力方面的能力。为了弥合这一差距，在与自动驾驶公司May Mobility的合作中，我们提出了MARS数据集，它统一了多智能体、多次遍历和多模态自动驾驶车辆研究的场景。具体来说，MARS数据集是通过一组自动驾驶车辆在特定地理区域内驾驶收集的。每辆车都有自己的路线，不同的车辆可能会出现在附近的位置。每辆车都配备了LiDAR和全景RGB摄像头。我们在MARS中策划了两个子集：一个促进多车辆同时出现在同一位置进行协作驾驶，另一个通过多车辆异步遍历同一位置实现记忆回溯。我们在场所识别和神经重建方面进行了实验。更重要的是，MARS引入了新的研究机会和挑战，例如多次遍历的3D重建、多智能体感知和无监督物体发现。我们的数据和代码可以在 https://ai4ce.github.io/MARS/ 找到。
我们的贡献如下：
多智能体：我们部署了一组自动驾驶车辆来导航指定的地理区域。这些车辆可以同时位于同一位置，通过车辆间通信实现协作的3D感知。
多次遍历：我们捕获同一空间区域内多次遍历的数据，涵盖不同的光照、天气和交通条件。每次遍历可能沿着独特的路线进行，覆盖不同的驾驶方向或车道，从而形成多条轨迹，提供对3D场景多样化的视觉观察。
多模态：我们为自动驾驶车辆配备了全景RGB摄像头和LiDAR传感器，两者都具有全方位360度的视野。这种综合传感器套件可以实现多模态和全景场景理解。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
我们的MARS数据集在自动驾驶车辆研究中代表了一个显著的进展，超越传统的数据收集方法，整合了多智能体、多次遍历和多模态等多维度。MARS为探索3D重建和神经仿真、协作感知和学习、带场景先验的无监督感知等开辟了新的途径。未来的工作包括为多智能体和多次遍历场景中的在线感知任务提供注释，如语义占据预测。我们坚信MARS将在AI驱动的自动驾驶车辆研究领域确立新的基准。
