![]()
标题：A real-time
anchor-free defect detector with global and local feature enhancement for surface
defect detection
来源：Expert Systems With Applications 246 (2024): 123199.作者：Qing
Liua, Min Liua, Q.M. Jonathanb, Weiming Shen单位：School of Electronics and Information
Engineering, Tongji University, Shanghai, 201800, China1、研究背景：
传统的通用对象检测（GOD）方法在工业表面缺陷检测中并不完全有效，因为它们未能充分考虑到工业缺陷的独特特性，如复杂背景、小尺寸和不规则形状。本研究识别了这些关键方面，并强调了为提高检测精度和效率而采用定制方法的必要性。2、论文创新点：1、无锚缺陷检测器：针对工业表面缺陷检测的需求，提出了一种新型的实时无锚缺陷检测器。与传统的基于锚点的检测方法相比，该检测器通过直接预测对象的边界框来简化检测流程，提高了检测效率。2、全局特征增强模块（GFEM）：为了应对复杂背景对检测准确性的影响，提出了全局特征增强模块。该模块通过一种通道级的非局部操作来增强高级特征的全局信息建模能力，有效地减轻了背景噪声的干扰。
3、局部特征增强模块（LFEM）：针对小尺寸缺陷特征不明显的问题，引入了局部特征增强模块。该模块通过放大低级特征中的局部峰值来增强小尺寸缺陷的特征表示，使得这些细小缺陷能够更容易被检测到。
4、边框细化模块（BRM）：为了提高预测边界框的准确性，设计了边框细化模块。该模块通过学习边界点附近的偏移来捕获缺陷的形状信息，从而实现更加精确的缺陷检测结果。
3、研究方法：
该研究提出的实时无锚缺陷检测网络以ResNet18为基础，结合特征金字塔网络（FPN）强化特征尺度不变性与小尺寸对象识别。全局特征增强模块（GFEM）通过非局部操作优化全局信息处理，减轻背景干扰；局部特征增强模块（LFEM）利用局部注意力放大细小缺陷特征；边框细化模块（BRM）细化缺陷形状与边界。这一框架集成GFEM、LFEM与BRM，高效应对复杂背景与小尺寸缺陷挑战，提升检测准确性。![]()
全局特征增强模块（GFEM）采用了一种创新的处理流程，首先通过1x1卷积降低特征图的通道数，降低计算复杂度。接着，结合全局平均池化（GAP）和全局最大池化（GMP）来提取全局统计信息，形成节点表示。这些节点通过构建完全连接图，并利用图卷积网络（GCN）进行全局信息的深度融合与增强。最终，通过另一个1x1卷积层将增强的特征映射回原始通道维度，并与初始特征融合，以此提升网络对于工业表面缺陷检测的灵敏度和准确性。这一系列流程使GFEM在提高缺陷识别能力的同时，有效减轻了背景噪声的干扰。
局部特征增强模块（LFEM）通过空间金字塔结构细分特征图，针对不同尺度的局部区域应用实例归一化和Sigmoid函数生成注意力图，从而放大局部峰值，使得小尺寸缺陷特征更加明显。这一过程通过多尺度的注意力增强，有效提升了对细小缺陷的识别能力，并减少了背景噪声的影响。LFEM的策略增强了网络对小缺陷的检测准确性，特别适用于在复杂工业图像背景下识别难以捕捉的微小缺陷，显著提升了检测性能。
边框细化模块（Box
Refinement Module, BRM）旨在提高缺陷检测的准确性，特别是针对缺陷形状和边界的精细识别。BRM通过在检测头部分预测缺陷边界框周围的偏移，细化初步预测的边界框。这一过程依靠学习到的偏移量调整和优化边界框的位置，更准确地捕捉缺陷的具体形状和尺寸。图4 边框细化模块（BRM）的详细图示
本篇论文的实验部分主要验证了所提出实时无锚缺陷检测网络在工业表面缺陷检测方面的有效性。实验采用了三个公开的工业表面缺陷数据集：PVEL_AD、PCB缺陷数据集和NEU-DET，覆盖了多种类型的工业缺陷。
首先，在PVEL_AD、PCB和NEU-DET数据集上，将本文提出的模型与SOTA进行定量分析，由下列三表可知本文提出的网络，在所有数据集上均呈现出极好的检测性能。尤其是在表1的Crack类别中，更是领先排名第二的YoloV7 高达5.9%。
表1 PVEL_AD数据集上与最先进的方法之间的检测定量比较
表2 PCB数据集上与最先进的方法之间的检测定量比较
![]()
表3 NEU-DET数据集上与最先进的方法之间的检测定量比较![]()
然后在PVEL_AD数据集上的消融实验，展示了全局特征增强模块（GFEM）、局部特征增强模块（LFEM）和边框细化模块（BRM）显著提升了工业表面缺陷检测的准确性，结果如表4所示。基线模型的平均精度（mAP）从86.6%提升至92.0%，显示了这些模块对于增强网络对复杂背景的抑制能力、小尺寸缺陷的识别能力以及缺陷形状信息的精确捕获的重要性。
表4 所提出方法的消融研究结果
在PVEL_AD数据集上的实验比较了不同模块对模型参数和每秒帧数（FPS）的影响。结果显示，引入全局特征增强模块（GFEM）、局部特征增强模块（LFEM）和边框细化模块（BRM）后，模型的参数量从11.49M微幅增加至11.65M，而FPS从99.8降至46.1。尽管FPS有所下降，但这三个模块并未显著增加参数数量，并且检测性能仍保持在实时水平（FPS大于30），兼顾了效率和准确性。表5 不同模块的模型参数和FPS的比较结果
![]()
为验证全局特征增强模块（GFEM）的鲁棒性和泛化能力，将GFEM应用于Faster-RCNN、RetinaNet和FCOS等基线方法上，分别基于ResNet34和ResNet50作为骨干网络进行测试。实验结果显示，所有基线方法的平均精度（mAP）均因GFEM而显著提升，如Faster-RCNN的mAP提高至85.8%至86.6%，RetinaNet提升至89.0%至89.4%，FCOS增至88.1%至88.5%。这些结果证明了GFEM具有良好的鲁棒性和泛化能力。表6 使用和不使用 GFEM 的不同基线方法的比较
最后，通过在PVEL_AD数据集上可视化不同模块处理后的特征图𝐹4，展示了GFEM和LFEM对特征映射的影响。未应用GFEM和LFEM时，特征图虽然能反映出缺陷，但背景噪声显著，可能影响检测精度。应用GFEM后，背景噪声得到明显抑制，缺陷特征突出，归功于增强的𝐹5中的强全局语义信息。使用LFEM进一步加强了缺陷特征，通过放大特征图中的局部峰值。这一可视化过程直观证明了GFEM和LFEM在提升缺陷检测性能方面的有效性。4、结论：
本文提出了一种针对工业表面缺陷检测的实时无锚检测网络框架，通过整合全局特征增强模块（GFEM）、局部特征增强模块（LFEM）和边框细化模块（BRM），显著提升了对复杂背景下小尺寸和不规则形状缺陷的检测准确性。通过在PVEL_AD等数据集上的实验验证，展现了模型在保持实时检测性能的同时，如何有效提高缺陷检测的准确度。GFEM和LFEM的引入优化了特征表达，减少了背景干扰，而BRM则提高了缺陷定位的精度，证明了所提出模型在工业质量控制应用中的潜力和实用价值。
