欢迎关注微信公众号“机器人具身智能”
论文题目：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
论文链接：https://arxiv.org/pdf/2312.07920
代码链接：https://github.com/VDIGPKU/DrivingGaussian
一、方法
我们提出了DrivingGaussian，这是一个高效而有效的框架，用于处理周围动态的自动驾驶场景。针对复杂的具有移动物体的场景，我们首先通过逐步建模整个场景的静态背景，采用增量式静态3D高斯模型。接着，我们利用复合动态高斯图来处理多个移动物体，分别重建每个物体并恢复它们在场景中的精确位置和遮挡关系。我们进一步利用LiDAR先验进行高斯溅射，以重建具有更多细节的场景并保持全景一致性。DrivingGaussian在动态驾驶场景重建方面优于现有方法，并能够实现高保真度和多摄像头一致性的逼真环视综合合成。
本文的主要贡献：
据我们了解，DrivingGaussian是基于复合高斯溅射的首个大规模动态驾驶场景表示和建模框架。
我们引入了两个新颖的模块，包括增量式静态3D高斯模型和复合动态高斯图。前者逐步重建静态背景，后者通过高斯图模型处理多个动态物体。
在LiDAR先验的辅助下，提出的方法有助于在大规模驾驶场景中恢复完整的几何信息。
综合实验证明，DrivingGaussian在挑战性的自动驾驶基准测试中优于先前的方法，并能够为各种下游任务提供边界案例模拟的能力。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
我们引入了一种新颖的视觉语言规划（VLP）方法，旨在增强自动驾驶系统（ADS）的能力。我们的方法结合了以自动驾驶车辆为中心的学习范式（SLP）和由语言提示引导的代理学习范式（ALP），以创建对环境的全面理解。通过一系列在各种驾驶任务上的实验，我们展示了VLP方法在提升ADS的感知、预测和规划能力方面的有效性。泛化实验展示了我们VLP方法的鲁棒性，证明了其适应新城市和长尾案例的能力。通过扩展ADS的能力超越训练环境，我们的VLP方法为在真实世界条件下更安全、更可靠的自动驾驶铺平了道路。
局限性。我们目前的实验局限于nuScenes数据集和基于摄像头的视觉方法作为基线。在未来的工作中，我们将在更广泛的数据集和传感器模态上评估VLP的性能。
欢迎关注微信公众号“机器人具身智能”
