欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：Driving-Video Dehazing with Non-Aligned Regularization for Safety Assistance
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Fan_Driving-Video_Dehazing_with_Non-Aligned_Regularization_for_Safety_Assistance_CVPR_2024_paper.pdf
一、方法
驾驶视频去雾面临重大挑战，主要因为在动态驾驶场景和不可预测的天气条件下，很难获取精确对齐的雾天/晴天视频对来有效训练模型。本文提出了一种创新的方法，通过非对齐正则化策略来应对这一挑战。我们的核心概念包括识别与雾天帧紧密匹配的晴天参考帧，作为监督视频去雾网络的参考。我们的方法包括两个关键组件：参考帧匹配和视频去雾。首先，我们引入了一个非对齐参考帧匹配模块，利用自适应滑动窗口从晴天视频中匹配高质量的参考帧。视频去雾则结合了基于流引导的余弦注意采样器和可变形余弦注意融合模块，增强了空间多帧对齐并融合了改进的信息。为验证我们的方法，我们采集了一个GoProHazy数据集，该数据集在多样化的城市和乡村道路环境中使用GoPro相机轻松捕获。广泛的实验表明，我们提出的方法在应对真实驾驶视频去雾的挑战任务中显著优于当前的最先进方法。
我们的贡献如下：
（1）据我们所知，我们是首个针对真实驾驶视频去雾任务提出非对齐正则化策略的研究者。其关键思想是从非对齐的晴天视频中选择性地识别高质量的参考帧进行监督，减少对地面真实数据的依赖。
（2）我们引入了一种先进的视频去雾网络，配备了流引导的余弦注意采样器和可变形余弦注意融合，有效处理驾驶场景中的大运动。
（3）我们提供了一个真实世界的视频去雾数据集，包括27对非对齐的雾天/晴天视频，共计4256对匹配的雾天/晴天帧。这些数据对是在各种真实场景（如乡村和城市道路）中使用GoPro相机手动收集的。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
我们引入了一种创新且有效的视频去雾框架，专门针对真实世界驾驶场景中的雾霾视频。通过利用非对齐的雾霾/清晰视频对，我们解决了时间和空间不对齐的挑战，通过引入非对齐参考帧匹配模块来实现。该模块利用高质量的清晰和不对齐的参考帧，为视频去雾提供稳健的监督。我们通过集成流引导余弦注意采样器和可变余弦注意融合模块，增强了空间多帧对齐和聚合能力。我们的框架实验结果明确展示了其优于最近的最先进方法，不仅提升了视频去雾效果，还有望在真实驾驶场景中改善能见度和安全性。
