欢迎关注微信公众号“机器人EmbodiedAI”
论文题目:SynFog: A Photo-realistic Synthetic Fog Dataset based on End-to-end Imaging Simulation for Advancing Real-World Defogging in Autonomous Driving
论文链接:https://openaccess.thecvf.com/content/CVPR2024/papers/Xie_SynFog_A_Photo-realistic_Synthetic_Fog_Dataset_based_on_End-to-end_Imaging_CVPR_2024_paper.pdf
一、方法
为推进基于学习的除雾算法研究,已经开发了各种合成雾数据集。然而,使用大气散射模型(ASM)或实时渲染引擎创建的现有数据集通常难以生成逼真的雾霾图像,准确模拟实际成像过程。这一限制阻碍了模型从合成数据到真实数据的有效泛化能力。在本文中,我们介绍了一个端到端的仿真流水线,旨在生成逼真的雾霾图像。该流水线全面考虑了基于物理的雾霾场景成像过程,与现实世界的图像捕捉方法密切对齐。基于这个流水线,我们提出了一个新的合成雾数据集,名为SynFog,其中包括天空光和主动光照条件,以及三种不同密度的雾霾。实验结果表明,基于SynFog训练的模型在视觉感知和检测准确性方面表现优越,当应用于真实世界的雾霾图像时优于其他方法。
我们的贡献如下:
• 我们提出了一个基于物理的端到端雾霾图像仿真流水线,将散射介质中的精确光传输和光学传感器的物理特性融入到合成图像中。
• 我们开发了一个逼真的合成雾数据集SynFog,该数据集包括天空光和主动光照条件,以及三种不同密度的雾霾。
• 我们展示了我们仿真流水线的真实性和有效性,以及SynFog数据集相比其他合成雾数据集的卓越逼真度。
二、实验
这里展示部分结果,更多结果请参考论文。
三、总结
在本文中,我们介绍了一个端到端的雾霾图像仿真流水线。我们的方法利用体积光路径追踪来模拟更精确的全局光照下的光散射过程。通过整合基于物理的相机处理流水线,包括光学、传感器和图像处理,我们能够在雾霾条件下密切模拟真实的捕捉过程。此外,我们还开发了一个新的合成雾数据集SynFog,以促进除雾研究。全面的实验验证了SynFog数据集的真实性和可靠性。