欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Li_Light_the_Night_A_Multi-Condition_Diffusion_Framework_for_Unpaired_Low-Light_CVPR_2024_paper.pdf
一、方法
视觉中心的自动驾驶感知系统近年来因其成本效益和可扩展性而受到广泛关注，特别是与基于激光雷达的系统相比。然而，这些系统在低光条件下常常表现不佳，可能会影响它们的性能和安全性。为了解决这个问题，我们的论文引入了LightDiff，这是一个专为自动驾驶应用设计的领域定制框架，旨在增强低光条件下的图像质量。具体来说，我们采用了一个多条件控制扩散模型。LightDiff无需任何人工收集的配对数据，而是利用动态数据降解过程。它集成了一种新颖的多条件适配器，能够自适应地控制来自不同模态（包括深度图、RGB图像和文本说明）的输入权重，从而有效地提亮暗场景并保持上下文一致性。此外，为了使增强后的图像与检测模型的知识保持一致，LightDiff采用了感知特定的分数作为奖励，通过强化学习指导扩散训练过程。在nuScenes数据集上进行的大量实验表明，LightDiff能够显著提升几种最先进的3D检测器在夜间条件下的性能，同时达到高视觉质量评分，突显了其在保障自动驾驶方面的潜力。
论文的贡献：
我们提出了Lighting Diffusion（LightDiff）模型，用于增强自动驾驶中的低光相机图像，减少对大量夜间数据收集的需求，并保持白天性能。 我们整合了多个输入模态，包括深度图和图像说明，通过一个多条件适配器来确保图像转换的语义完整性，同时保持高视觉质量。我们采用一种实用的过程，从白天数据生成昼夜图像对，以进行高效的模型训练。 我们提出了一种利用强化学习进行LightDiff微调的机制，结合感知定制的领域知识（可靠的激光雷达和统计分布一致性），确保扩散过程既有益于人类视觉感知，又有益于感知模型。 在nuScenes数据集上进行了大量实验表明，LightDiff显著改善了夜间的3D车辆检测，并在多个视觉指标上优于其他生成模型。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
本文介绍了LightDiff，这是一个专为增强自动驾驶应用中低光图像质量而设计的领域定制框架，旨在解决视觉中心感知系统所面临的挑战。通过利用动态数据降级过程、多条件适配器处理多样化输入模态，并结合强化学习中感知特定分数引导的奖励建模，LightDiff显著提升了夜间在nuScenes数据集上的图像质量和3D车辆检测能力。这种创新不仅消除了对大量夜间数据的需求，还确保了图像转换中的语义完整性，展示了在自动驾驶场景中提升安全性和可靠性的潜力。由于缺乏真实的配对昼夜图像，合成带有车辆灯光的暗驾驶图像是非常困难的，这限制了该领域的研究进展。未来的研究可以集中在更好地收集或生成高质量训练数据上。
