论文题目：Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction
论文链接：https://arxiv.org/pdf/2407.07587
一、方法
准确感知动态环境是自动驾驶和机器人系统的基本任务。本文介绍了Let Occ Flow，这是第一个仅使用相机输入的自监督联合3D占用和占用流预测方法，消除了对3D注释的需求。我们的方法利用TPV进行统一场景表示，并使用可变形注意力层进行特征聚合，结合了前后时间注意模块以捕捉动态物体的依赖关系，随后通过3D细化模块实现精细的体积表示。此外，我们的方法将可微渲染扩展到3D体积流场，利用零样本2D分割和光流线索进行动态分解和运动优化。在nuScenes和KITTI数据集上的大量实验表明，我们的方法在性能上优于之前的最先进方法。我们的项目页面可在https://eliliu2233.github.io/letoccflow/查看。
论文的贡献：
我们提出了Let Occ Flow，这是第一个通过将2D光流线索整合到几何和运动优化中的自监督联合3D占用和占用流预测方法。
我们设计了一个基于BEV的前后注意力的新型时间融合模块，用于高效的时间交互。此外，我们提出了两阶段优化策略和动态解耦方案，以缓解训练不稳定和样本不平衡问题。
我们在多个数据集上进行了广泛的实验，通过定性和定量分析展示了我们方法的竞争性能。
二、实验结果
三、总结
在这项研究中，我们介绍了Let Occ Flow，这是第一个仅使用相机输入的自监督联合3D占用和占用流预测方法。通过利用高效的时间融合模块和以流为导向的优化，我们的方法有效地捕捉了动态物体的依赖关系，从而增强了场景几何和物体运动。此外，我们的方法将可微渲染扩展到体积流场，并利用2D流和语义线索进行动态解耦。因此，我们的工作为未来在动态环境感知中进行更高效、更准确的自监督学习框架研究铺平了道路。
