关注并星标
从此不迷路
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
论文获取｜回复“IAYOLO”获取paper
计算机视觉研究院专栏
最近开车发现雾天和晚上视线不是很清楚，让我联想到计算机视觉领域，是不是也是因为这种环境情况，导致最终的模型检测效果不好。最近正好看了一篇文章，说恶劣天气下的目标检测，接下来我们一起深入了解下。
基于CNN的方法已在目标检测中盛行。它们不仅在基准数据集上取得了可喜的性能，而且还被部署在自动驾驶等实际应用中。由于输入图像的域偏移，由高质量图像训练的一般目标检测模型在恶劣的天气条件下（例如，有雾和暗光）往往无法获得令人满意的结果。Narasimhan和Nayar以及You等人提出在恶劣天气下拍摄的图像可以分解为干净的图像及其对应的天气信息，而恶劣天气下的图像质量下降主要是由于天气信息和物体之间的相互作用造成的，这导致检测性能差。
上图显示了雾天条件下目标检测的示例。可以看出，如果图像可以根据天气状况进行适当的增强，则可以恢复更多有关原始模糊目标和错误识别目标的潜在信息。
为了解决这个具有挑战性的问题，Huang、Le和Jaw（DSNet: Joint semantic learning for object detection in inclement weather conditions）采用了两个子网络来联合学习可见性增强和目标检测，其中通过共享特征提取层来减少图像退化的影响。然而，在训练期间很难调整参数以平衡检测和恢复之间的权重。另一种方法是通过使用图像去雾（Multi-Scale Boosted Dehazing Network with Dense Feature Fusion；GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing）和图像增强（Zero-reference deep curve estimation for low-light image enhancement）等现有方法对图像进行预处理来淡化天气特定信息的影响。然而，这些方法必须包含复杂的图像恢复网络，需要在像素级监督下单独训练。这需要手动标记要恢复的图像。这个问题也可以被视为无监督的domain adaptation任务。与具有清晰图像（源图像）的训练检测器相比，假设在恶劣天气下捕获的图像（目标图像）具有分布偏移。这些方法大多采用domain adaptation原则，侧重于对齐两个分布的特征，而通常忽略了基于天气的图像恢复过程中可以获得的潜在信息。
·
亮点
DIP Module
CNN-PP Module
Detection Network Module
最终选择one-stage检测器YOLOv3作为检测网络，它广泛用于实际应用，包括图像编辑、安全监控、人群检测和自动驾驶。它通过对多尺度特征图进行预测来实现多尺度训练，从而进一步提高检测精度，尤其是对于小物体。 采用与原始YOLOv3相同的网络架构和损失函数。
整个算法流程可以总结为如下伪代码：
实验1
Performance comparison on foggy images
实验2
Performance comparison on low-light images
实验3
Detection results by different methods on real-world RTTS foggy images
实验4
Detection results of different methods on synthetic VOC_Dark_test images
Efficiency analysis on the compared methods
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
扫码关注
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
论文获取｜回复“IAYOLO”获取paper
往期推荐
🔗
