RS DL
论文介绍
年份：2024
本篇主要内容转发自GrokCV公众号，内容由论文原作者审核
概括
介绍了 HazyDet，一个在恶劣天气条件下用于无人机目标检测的开源基准数据集。 提出了一个深度感知的检测器（DeCoDet），利用场景深度信息提升检测性能。
背景
在现代社会，无人机已经成为我们生活中不可或缺的一部分。它们被广泛应用于物流配送、农业监测、安防巡逻等多个领域。然而，无人机在恶劣天气条件下执行任务仍然面临着诸多挑战。
相关数据集的匮乏
在计算机视觉领域，COCO 和 VOC 等数据集扮演了至关重要的角色，为目标检测和图像分割等任务提供了丰富的标注数据。近年来，针对无人机视角目标检测任务，研究者们也开发了多个数据集。例如，CARPK 数据集包括 1,448 张无人机拍摄的停车场图像，标注了 89,777 辆汽车。UAVDT 数据集提供了约 40,000 张图像，每张图像的分辨率约为 1080×540 像素，标注了城市环境中的汽车、公交车和卡车。VisDrone 是最广泛使用的数据集之一，包含 10,209 张图像，详细标注了十个物体类别，包括边界框、遮挡和截断比例。这些数据集的出现极大地推动了深度学习算法的发展，使得研究人员能够在标准化的环境中测试和比较不同的方法。
然而，这些数据集通常集中在清晰、理想的正常天气条件下。随着无人机在恶劣环境中的部署日益增多，对于相关场景的数据需求更加明显。针对大雨、浓雾、暴风雪等极端天气的无人机视角目标检测数据集相对缺乏，已成为一个亟待解决的问题。
现有方法
尽管通用目标检测领域取得了重要进展，但将这些方法直接应用于恶劣天气下的无人机目标检测往往未能达到预期效果，这主要是由于无人机视角和环境条件所致：
尺度变化：无人机图像由于视角和高度的变化，通常表现出显著的尺度变化，同时小物体的比例更高。 非均匀分布：与常规视角下目标集中于画面中心不同，无人机拍摄的图像中物体分布更为分散。 图像退化：在恶劣天气条件下，大气传输受损，导致能见度降低和图像颜色失真，影响图像质量，进而影响基于视觉的感知。 域间差距：天气引起的图像退化会影响特征识别，导致特征语义模糊，形成显著的域间差距。
多尺度特征融合 [1][2][3]：通过特征金字塔和多分辨率架构捕捉不同尺度的物体，改善检测精度，缓解尺度变化的影响。
粗到细策略 [4][5][6][7]：采用粗略检测器识别较大实例，再应用细粒度检测器定位较小目标，提高检测精度和效率。
图像恢复与检测结合 [8][9][10]：将图像恢复与检测任务结合，学习从清晰和退化图像中提取域不变特征，增强对恶劣天气场景的理解。
尽管这些方法在某些方面取得了一定进展，但往往忽视了关键的辅助信息，例如场景深度。深度信息能够揭示物体与探测器之间的空间关系，从而帮助我们更好地理解场景中物体的布局和相对位置。此外，现有的检测流程通常表现出较为僵化和繁琐的设计，具体体现在多个方面：首先，许多检测流程需要进行多次前处理和后处理以及特征融合步骤，使得整个流程显得笨重且耗时；其次，结合图像恢复网络的方法往往受退化域数据的限制。此外，由于检测和复原两种任务的优化目标存在差异，图像复原对检测任务的具体增益也存在不确定性。
数据
HazyDet 数据集
数据已收集至：https://github.com/rsdler/Remote-Sensing-Object-Detection-Dataset
为了解决数据集的空白，研究推出了 HazyDet 数据集，重点关注雾这种普遍且会严重影响无人机感知的天气状况。HazyDet 包含了上万张精心挑选的无人机图像，并为大约 383,000 个不同类别的物体标注了高质量的边界框。据研究所知，这是第一个专门为不利天气场景下的无人机检测设计的大规模数据集。
HazyDet 包含真实和仿真两种类型的数据。对于真实数据，研究采集了真实雾霾场景下的无人机图像并进行了标注。然而，获取大量恶劣天气下包含目标的无人机图像十分困难，而且标注这些质量较低的图像需要耗费大量的人力和时间成本。因此，研究尝试利用现有已标注数据构建仿真数据。通过大气散射模型（Atmospheric Scattering Model，ASM）和精心设计的仿真参数，研究生成了高质量的仿真数据。
方法
DeCoDet
研究提出了一种新的检测框架 —— 深度调制检测器（DeCoDet），如图 6 所示。DeCoDet 通过利用深度信息，而非显式的图像恢复，来增强雾霾条件下的检测性能。该框架建立在两个观察之上：一是无人机图像中物体特征与深度之间的相关性，二是场景中雾浓度分布与深度的关系。
另一方面，在仿真过程中发现，雾天图像中的传输图（transmission map）与像素深度之间存在简单的负指数函数关系，也就是说，距离较远区域的传输图衰减程度更强。以往的去雾研究中，很多工作已经注意到深度信息的作用并将其引入到网络中 [14][15]，但研究认为深度信息的价值不仅限于低级视觉任务中的图像复原，它同样有助于网络在雾霾环境中进行更高阶的视觉感知，例如目标检测。
基于上述发现，本文在现有网络中融合深度信息，并利用学习到的深度线索动态调整检测行为，最终得到深度调制检测器（Depth-cue Conditional Detector，DeCoDet），以有效应对雾霾环境和无人机视角带来的挑战，从而显著提高检测性能。
实验和精度
研究建立了一个全面的基准，以评估当前主流算法和 DeCoDet 在 HazyDet 数据集上的表现。首先，评估检测算法的性能；随后，评估最先进的去雾模型对检测效果的影响，相关结果如表 1、表 2 所示。
致谢
本研究感谢天津视觉计算与智能感知重点实验室（VCIP）提供的宝贵资源。特别感谢天津大学的朱鹏飞教授和 AISKYEYE 团队，他们对数据方面的重要支持对本研究的研究工作至关重要。同时，研究对李翔辉、冯钰新及其他研究人员表示深切的感谢，他们在数据仿真和数据集构建方面提出了宝贵的意见。此外，研究也要感谢 Metric3D 对本文所呈现方法的贡献。
更多结果讨论图表可查看原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
