欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：NeuRAD: Neural Rendering for Autonomous Driving
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Tonderski_NeuRAD_Neural_Rendering_for_Autonomous_Driving_CVPR_2024_paper.pdf
代码链接：https://github.com/georghess/neurad-studio
一、方法
神经辐射场（NeRFs）在自动驾驶（AD）社区中越来越受欢迎。最近的方法展示了NeRFs在闭环仿真中的潜力，使AD系统的测试成为可能，并且作为一种先进的训练数据增强技术。然而，现有方法通常需要较长的训练时间、密集的语义监督，或者缺乏普遍性。这反过来又阻碍了NeRFs在大规模自动驾驶中的应用。本文中，我们提出了NeuRAD，一种专为动态AD数据设计的鲁棒新视图合成方法。我们的方法具有简单的网络设计、针对相机和激光雷达的广泛传感器建模——包括滚动快门、光束发散和射线丢失——并且可以直接应用于多个数据集。我们在五个流行的AD数据集上验证了其性能，均达到了最先进的水平。
我们的贡献如下：
(1) 我们的方法首次将激光雷达传感器建模与处理360°相机装置的能力结合在一起，扩展了NeRFs方法在动态自动驾驶数据中的适用性。
(2) 我们提出使用单一网络来建模动态场景，其中动态和静态仅通过它们的位置嵌入来分离。
(3) 我们提出了简单而有效的方法来建模多个关键传感器特性，如滚动快门、光束发散和射线丢失，并强调了它们对性能的影响。
(4) 使用五个流行的自动驾驶数据集进行的广泛评估显示，我们的方法在各方面都达到了最先进的水平。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
在本文中，我们提出了NeuRAD，一种专门针对动态自动驾驶（AD）数据的神经模拟器。该模型能够同时处理360°激光雷达和相机数据，并将世界分解为静态和动态元素，从而创建传感器逼真的可编辑真实驾驶场景克隆。NeuRAD结合了多种传感器现象的新型建模，包括光束发散、射线丢失和滚动快门，从而提高了新视图合成的质量。我们通过在五个公开的自动驾驶数据集上使用一组超参数，展示了NeuRAD的有效性和鲁棒性，并达到了最先进的性能水平。最后，我们公开发布了源代码，以促进更多关于NeRFs在自动驾驶中的研究。
局限性：NeuRAD假设物体是刚性的，不支持任何变形。此外，许多建模假设在恶劣天气如大雨或大雪中无效。我们希望在未来的工作中解决这些局限性。
欢迎关注微信公众号“机器人EmbodiedAI”
