点击蓝字 关注我们
关注并星标
从此不迷路
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
Column of Computer Vision Institute
01
前景概要
目前，难以在检测效率和检测效果之间获得适当的平衡。我们就研究出了一种用于高分辨率光学遥感图像中目标检测的增强YOLOv5算法，利用多层特征金字塔、多检测头策略和混合注意力模块来提高光学遥感图像的目标检测网络的效果。根据SIMD数据集，新算法的mAP比YOLOv5好2.2%，比YOLOX好8.48%，在检测效果和速度之间实现了更好的平衡。
02
背景&动机
随着遥感技术的快速发展，高分辨率光学遥感图像已被用于描述地球表面的许多物体，包括飞机、汽车、建筑物等。目标检测在遥感图像的解释中起着至关重要的作用，可用于遥感图像的分割、描述和目标跟踪。然而，由于其相对较大的视场和高海拔的必要性，航空光学遥感图像表现出尺度、视点特异性、随机定向和高背景复杂性的多样性，而大多数传统数据集包含地面视图。因此，用于构建人工特征的对象检测技术传统上在精度和速度方面具有较差的记录。基于卷积神经网络的目标检测算法明显比传统的目标检测方法更高效。由于社会的需要和深度学习发展的支持，在光学遥感图像中使用神经网络进行目标检测是必要的。
目前结合深度学习分析光学遥感照片的目标检测算法可以分为有监督、监督不力或无监督。然而，由于无监督和弱监督算法的复杂性和不稳定性，监督算法是最常用的算法。此外，监督目标检测算法可以分为单阶段或两阶段。基于飞机通常位于机场，船舶通常位于港口和海洋的假设，在下采样卫星图像中检测机场和港口，然后将发现的项目映射回原始的超高分辨率卫星图像，可以成功地同时检测不同大小的物体。有研究者提出了一种基于RCNN的旋转目标检测方法，通过解决目标方向的随机化问题，提高遥感图像中目标检测的准确性。
03
新算法研究
目前的大多数YOLO系列检测头都是基于FPN和PAFPN的输出特性，其中基于FPN的网络，如YOLOv3及其变体如下图a所示，它们直接利用单向融合特性进行输出，YOLOv4和YOLOv5的基于PAFPN算法在此基础上增加了一个低电平到高电平的信道，它直接向上传输低级信息（下图b）。
如上图c所示，类似地，在一些研究中，TPH-YOLOv5模型中的特定检测任务添加了一个检测头。在上图b，c中，只有PAFPN功能用于输出，而FPN功能未得到充分利用。因此，YOLOv7将三个辅助磁头连接到FPN输出，如上图d所示，尽管辅助磁头仅用于“粗略选择”，并且重量较低。SSD的检测头是为了改善YOLO网络对锚集过于粗糙的设计而提出的，如上图e所示，设计概念主要由多个尺度上具有多个纵横比的密集锚设计组成。受图c–e的启发，我们研究并提出了一种用于YOLO检测头的多检测头策略，如图f所示，该策略可以同时利用PANet和FPN的特征信息。此外，在64倍下采样处直接添加了输出头，这使得网络包含先前的全局信息。
多检测头方法可以有效地利用网络的输出特征。改进的YOLO是一个用于高分辨率遥感照片的目标探测网络。如下图所示：
主干网的基本结构是以C3和卷积模块为核心的CSP密集网。在数据增强之后，图像被馈送到网络中，并且在核大小6的Conv模块进行信道混合之后，许多卷积模块检索特征。在名为SPPF的特征增强模块之后，他们连接到Neck的PANet。为了提高网络的检测能力，进行了双向特征融合。Conv2d用于独立缩放融合的特征层，以生成多层输出。如下图a所示，NMS算法将所有单层检测器的输出组合在一起，生成最终的检测帧。
下图b描述了改进的YOLO网络每个模块的结构组成。
Conv包括2D卷积层、BN层批量归一化和Silu激活函数，C3包括两个2D卷积层和一个瓶颈层，Upsample是上采样层。SPPF模块是SPP模块的加速版本，MAB模块如上面提及的所示，其中ECA如左下角所示。在没有降维的信道级全局平均池化之后，考虑到每个信道与其k个邻居的关系，使用大小为k的快速1D卷积来捕获局部跨信道交互信息，从而有效地执行ECA。上述两个变换沿着两个空间方向收集特征，以产生一对方向感知特征图，然后将其连接起来，并使用卷积和Sigmoid函数进行修改，以提供注意力输出。
04
实验及可视化
SIMD数据集是一个多类别、开源、高分辨率遥感对象检测数据集，共包含15个类别，如图4所示。此外，SIMD数据集更多地分布在中小型目标（w<0.4，h<0.4）中，并且我们提出的改进YOLO用于检测该区域的检测头是普通YOLO算法使用的检测头数量的两倍，因此改进的YOLO在该数据集上具有更大的优势。
可以将SPPF模块的输出连接到输出头，从而识别图像中的大目标。然而，SPPF模块的输出具有多个连接，并且涉及多个尺度的目标，因此直接将其用于探测头来识别大型物体将导致较差的模型表示，如上图所示，显示了添加MAB模块前后一些检测结果热图的视觉比较。在添加MAB模块后，该检测头专注于检测大目标，而将小目标的预测分配给其他预测头，提高了模型的表达效果，也更符合YOLO算法中基于目标大小划分检测头的要求。
一些检测结果如上图所示。从各个检测结果来看，与其他算法没有太大差异，但与其他算法相比，我们研究的算法在保证时间消耗不显著增加的同时，提高了模型的检测效果，并利用注意力机制增强了模型的表达效果。
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
往期推荐
🔗
小米平板6 Max-Yolo：在便携终端上实时检测不再是难题 机场项目：解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题 旋转角度目标检测的重要性！！！（附源论文下载） PE-YOLO：解决黑夜中的目标检测难点 YOLO-S：小目标检测的轻量级、精确的类YOLO网络 EdgeYOLO：边缘设备上实时运行的目标检测器及Pytorch实现 Q-YOLO：用于实时目标检测的高效推理 Yolo算法的演进—YoloCS有效降低特征图空间复杂度（附论文下载） InternImage：探索具有可变形卷积的大规模视觉基础模型 首个全量化Vision Transformer的方法FQ-ViT，AI大模型落地不远了！ YoloV8与ChatGPT互通，这功能是真的强大！ GPT理解的CV：基于Yolov5的半监督目标检测 Consistent-Teacher：半监督目标检测超强SOTA
