中国航空综合技术研究所2023年智能检测工作进展：基于数字图像处理的智能检测与识别技术

2023年，工业和信息化部、国家发展改革委、教育部、财政部、国家市场监管总局、中国工程院、国家国防科工局等七部门联合印发《智能检测装备产业发展行动计划（2023—2025年）》，明确提到：到2025年，智能检测技术基本满足用户领域制造工艺需求，核心零部件、专用软件和整体装备供给能力显著提升，重点领域智能检测装备示范带动和规模应用成效明显，产业生态初步形成，基本满足智能制造发展需求。

无损检测作为航空航天、兵器、船舶等领域零部件质量控制关键一环，在保证产品质量、促进制造工艺升级方面发挥着重要作用。其中，数字射线、超声、红外、视觉等数字化成像检测技术是重要的无损检测技术手段，广泛应用于产品全寿命周期内的质量检测。

然而，在对缺陷进行尺寸测量、检测与识别时，现有数字化成像检测技术往往面临着自动化程度低、检测速度慢、可靠的边界提取方法和缺陷分类识别工具缺乏、检测人员经验不足等诸多问题。

将数字化成像检测技术与图像处理、深度学习、人工智能等算法以及数字化管理、软硬件开发等手段相融合，是解决上述问题的重要途径。

为此，智能检测团队紧跟行业发展方向，聚焦行业亟需和基础共性问题，以降低资本能源消耗、提高生产效率、提升产品质量为导向，积极布局数字图像智能处理技术与装备无损检测技术深度融合，持续加强先进图像处理、智能识别算法、数字化管理技术以及相关软硬件系统研发，加快推动基于人工智能数字图像处理与检测技术在智能制造领域的应用，深入探索智能检测与智能制造协同发展模式。

智能检测与识别技术得到学术界和工业界广泛关注，其出色表现离不开先进图像处理、缺陷自动识别等关键技术的支撑。团队实时跟进相关技术与算法研究进展，不断消化吸收、改进升级，并将其应用于典型制造工艺和工程实际产品数字化缺陷检测图像分析处理。

在射线、超声、红外、视觉等数字化成像检测中，电磁噪声、光源、振动、水渍或污点的存在，往往会影响检测图像质量，增加缺陷检测与识别难度。因此，有必要对图像进行预处理操作，减少不良因素影响。常见的图像预处理操作包括图像降噪和图像增强。

图像降噪是图像处理的重要步骤。常用的降噪手段有均值滤波、中值滤波、高斯滤波、形态学滤波、双边滤波、小波变换、连通域去噪等。根据图像高斯、椒盐、脉冲、正态分布等不同噪声的特点，可选择不同的降噪方法。

图像增强可以减少光照不均匀以及阴影的影响，还可以增强目标区域与背景区域的对比度，提高后续特征提取的准确率。常见的图像增强方法有直方图均衡化、CLAHE、灰度拉伸、DWT变换等。

针对不锈钢焊缝3D激光视觉检测需求，为更好地观察、提取焊缝相关特征，团队在现有图像降噪和图像增强技术的基础上提出了一种新的焊缝视觉图像增强算法，可对焊缝区域进行图像增强处理，获得更加明显、准确、丰富的焊缝特征信息，如图1所示。

(a) 图像增强前

(b) 图像增强后

图1 图像增强前后焊缝图像对比

边缘检测是图像处理与计算机视觉中极其重要的一种分析方法。边缘检测实质是检测图像中的灰度、颜色、纹理结构等突变。

图像边缘具有方向和幅值两种属性，可通过一阶导数或二阶导数检测得到。目前常用的边缘检测算子主要有Sobel、Roberts、Prewitt、Canny等。其中，Canny边缘算子由于具有低错误率、高定位精度和抑制虚假边缘的优势，已成为当下最为流行的边缘检测方法之一。

目前，团队已将Canny边缘检测算子应用于焊缝DR检测图像、视觉检测图像以及发动机叶片CT检测图像的边缘检测，结果表明，该方法有效提取检测图像中目标边缘，如图2所示。

(a) 焊缝DR检测图像边缘检测 

(b) 焊缝视觉检测图像边缘检测 

(c) 发动机叶片CT检测图像边缘检测

图2 典型检测图像的边缘检测结果

图像分割在视觉检测图像分析、视觉检等方面的应用十分广泛，其本质是将图像中每个像素分配至不同类别或对象中，实现对图像的语义理解和区域识别。

通过图像分割，可提取出图像中感兴趣的目标区域，实现工件区与非工件区、缺陷区与背景区、焊缝区与非焊缝区等的分离。

常用图像分割方法有边缘检测、阈值法、区域生长法等，每种方法各具有其独特的优缺点及可适用的场景。

边缘检测属于一种典型的图像分割方法，其边界定位准确，对光照变化和图像灰度不敏感，具有计算速度较快的优点，但该方法对噪声敏感，存在边缘连接问题。

阈值法是最简单的分割方法之一，通过设定阈值，将图像像素按照灰度值或颜色信息的不同分为不同区域，该方法计算效率高，但对光线和噪声敏感。

区域生长法是一种经典的分割算法，其关键是选择合适的生长点、确定像素合并的相似性准则和确定停止生长条件，思路简单，可提供良好的分割结果，但消耗资源多，运行效率较低。

以典型激光焊焊缝表面缺陷图像分割为例，利用全局阈值分割方法，在对滤波器、阈值等进行优选的基础上，可对典型焊缝缺陷进行有效分割，其结果如图3所示，可见缺陷分割结果与实际缺陷吻合较好。

(a) 缺陷区域      (b) 缺陷分割

图3 典型激光焊焊缝缺陷分割结果

图像特征提取是数字图像处理中十分重要的技术，本质上是提取图像中重要数据和信息，得到数学形式上的表示或描述，以用于图像分类、目标检测和图像识别。特征提取的有效性和准确性对后续缺陷识别精度、计算复杂程度和鲁棒性具有重大影响。

特征提取可分为两种方式：一种是直接从图像中提取像素点信息，即原始特征，如颜色、灰度值等；另一种是采用复杂变换或处理间接获取图像特征，如图像边缘、纹理、形状等特征。

颜色特征提取通常是通过图像中颜色分布和颜色特征实现图像检索或目标识别，提取方法包括颜色距、颜色直方图等；纹理特征提取主要是分析图像纹理结构和纹理性质，常用方法包括局部二值模式、灰度共生矩阵等，可用于图像分类、纹理识别等；形状特征提取是通过分析图像中几何形状或边界特征，实现目标检测、目标跟踪，常用方法有边缘描述子如链码、轮廓拟合等。

在工程实际应用中，根据不同检测目标与目的，图像特征类别、参数或分析处理方法均会存在差异，需要根据实际需求结合多种特征提取方法，提取更加丰富和具有区分度的特征。例如，在分析激光焊焊缝缺陷特征以及不同类型缺陷差异时，团队综合利用了缺陷凹凸度、宽长比、圆度、最大宽长比、宽度标准差和密实度等特征进行分析，其结果如图4所示。

(a) 不同缺陷凹凸度、宽长比和圆度

(b) 不同缺陷最大宽长比、宽度标准差和密实度

图4 典型焊缝缺陷特征提取结果

缺陷识别高准确率的实现需要依靠大量图像数据作为支撑。然而，在工程实际中，充足的图像数据往往很难获取，且数据收集过程耗时费力。

数据增强技术可有效增加训练样本数量、提升数据质量和多样性，是解决数据不足问题的重要途径，已成为智能识别领域的必要组成部分。

图像数据增强操作一般在对图像进行必要的预处理后进行。数据增强算法主要包括无模型、基于模型和基于优化策略3类方法。

无模型图像增强是不依赖于任何先验模型的数据增强，是应用最为广泛的图像增强技术，可包括单图像和多图像两个分支。

单图像增强是针对单个图像采用一系列变换生成视觉上不同但语义上相似的图像，增加图像数据的多样性，主要包括几何变换、色彩变换和图像遮挡。

多图像增强则是对多个图像进行数据增强，综合多个输入图像的信息，既包含单图像增强技术，也涉及到图像叠加、融合、剪切、拼接等操作。图5为利用无模型图像数据增强技术而获得的多个图像。

图5 典型图像数据增强结果

基于模型的图像增强则是使用已经训练好的模型来执行图像增强，增强过程可以是无条件的生成、基于标签条件的生成和基于图像条件的生成。

以上两种数据增强技术都是针对特定数据进行定制化增强，需要专业知识才能达到理想效果，具有一定挑战性且较为耗时。

解决该问题的一种方法是设计能够自动确定最优增强策略的算法，从较大的参数空间中确定具有合适参数的最优操作，即基于优化策略的算法。

目标检测任务是寻找图像中所有感兴趣目标，并确认其类别和位置，是计算机视觉领域的核心问题之一。

传统目标检测算法包括区域选择、特征提取和体征分类，其计算复杂，鲁棒性较低。随着深度学习技术发展，神经网络的大量参数可以从图像中提取鲁棒性、语义性更好的特征，且分类器性能更为优越。

基于深度学习的目标检测算法主要分为两类：一类是Two-stage网络模型，先进行Region Proposal区域（RP）生成，再通过卷积神经网络进行样本分类，常用的算法有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等；另一类则是One-stage网络模型，直接在卷积神经网络中提取特征来预测目标的分类和位置，常用的算法有SSD、YOLO、OverFeat和RetinaNet等。图6给出了铸件DR检测图像典型缺陷的目标检测结果。

图6 铸件DR检测图像典型缺陷目标检测结果

语义分割是计算机视觉领域的一种图像分割技术，其目标是将图像中每个像素分配给预定义的类别，是图像分割的高级形式。

语义分割与图像分割的区别主要体现在分割的语义上，即图像分割注重分割效果，分割后的区域没有明确语义，而语义分割注重分割结果的语义，追求每个像素对应的语义标签。图7为激光焊缝视觉检测图像的典型语义分割结果。

(a) 原始视觉检测图像 

(b) 焊缝语义分割

图7 典型激光焊缝语义分割结果

语义分割一般步骤包括数据准备、模型构建、模型训练、模型评估以及预测和应用。在数据准备阶段，一般需要将图像进行数据增强处理，增加数据的丰富性和泛化能力。同时，将图像集及其标注信息分成训练集、验证集和测试集。

语义分割模型通常使用卷积神经网络，可对图像进行精细分割，常用的模型有FCN、UNet、DeepLab等。

模型训练目标是通过优化损伤函数来调制模型参数，使其更好适应数据集，常用的损伤函数有交叉熵损伤、Dice损伤等。

模型评估是计算已训练好模型的准确率、召回率等指标，评估模型性能。预测和应用是语义分割最终目的。

实例分割发展相对较晚，其模型主要基于深度学习技术。实例分割不仅要将输入图像中的目标检测出来，还要对目标每个像素分配类别标签。

相对与目标检测的边框而言，实例分割可精确到物体的边缘；相对于语义分割而言，实例分割需要标注出图上同一个物体的不同个体。因此，实例分割可以说是目标检测和语义分割的结合。

随着深度学习技术的发展，实例分割相继出 现 了DeepMask、Mask R-CNN、Cascade Mask R-CNN、HTC等方法，其分割精度和效率逐渐提升。

实例分割可分为两种技术路线：一种是自上而下的实例分割，通过目标检测的方法找出实例所在的区域，再在检测框内进行语义分割，每个分割结果都作为不同的实例输出，即先检测后分割；另一种是自下而上的实例分割，首先进行像素级别的语义分割，再通过聚类、度量学习等手段区分不同的实例。图8给出了典型铸件缺陷实例分割结果。

图8 典型铸件缺陷实例分割结果

针对多种航空装备及民用产品缺陷检测工程实际需求，智能检测团队在图像处理和缺陷检测识别技术研究基础上，深入开展相关智能检测识别软硬件系统研发与工程化应用研究，取得了一系列实用成果。

针对航空发动机叶片批量化生产阶段壁厚测量问题，团队研发了一套基于航空发动机叶片CT检测图像的壁厚自动测量软件，有效解决了传统人工壁厚测量过程中存在的测量效率低、可靠性不高以及受人工经验限制等难点问题。

图9给出了航空发动机叶片壁厚自动测量软件界面。该软件具有CT数据读取、叶片拆分、叶片局部区域提取、二值化处理、边界提取、壁厚测量、测试报告生成等功能。

图9 航空发动机叶片壁厚自动测量软件界面

通过大量发动机叶片壁厚测试表明，该软件可批量化快速实现发动机叶片指定位置壁厚精确测量，其壁厚测量误差可控制在±0.05 mm内。目前，该软件已成功应用于发动机叶片CT检测数据分析处理，显著提高了叶片壁厚测量效率与质量。

目前，在大批量产品缺陷识别、数据分析过程中，普遍存在缺乏快捷高效、智能的检测软件工具，检测效率低以及误检漏检频发等问题。基于以上市场化需求，智能检测团队研发了一套基于深度学习的缺陷智能检测评价软件，其界面如图10所示。

(a) 模型训练端

(b) 模型应用端

图10 铸件缺陷智能检测评价软件界面

该智能检测软件不仅包含了成熟的图像处理、数据库管理、缺陷识别、数据统计分析等常规的缺陷图像分析功能，还具有如下独特功能：

① 具备较为完善的基于深度学习的缺陷智能识别网络模型算法，集成了以Faster R-CNN为代表的Two-stage网络模型和以SDD、YOLO为代表的One-stage网络模型，可确保不同产品对象、不同特征缺陷智能识别准确率；

② 可不断扩充缺陷分类识别算法所需的数据集，充分利用人工智能技术的自我学习能力，确保识别模型稳健可靠，具备远高于平均检测人员经验的缺陷识别分类准确度。

焊接技术是工业生产中不可或缺的一种基本工艺方法，被广泛应用于工业各个领域。焊接质量好坏直接关乎设备运行、工业操作和使用者安全。

为保证相关焊接产品质量，团队以典型薄板激光焊缝、直线位移传感器焊缝为研究对象，开展二维、三维融合视觉检测技术、缺陷智能识别方法研究和检测系统研制，着力解决焊缝缺陷智能检测问题，推动智能检测在工程实际中应用。

为快速有效检测薄板激光焊缝缺陷，促进生产工艺迭代升级，团队从在线自动化检测实际需求出发，以0.6~0.8 mm厚不锈钢薄板激光焊缝为研究对象，开展视觉智能检测技术研究、缺陷识别算法开发和检测系统样机研制。

图11给出了激光焊缝缺陷融合视觉检测系统示意和系统样机图。该系统利用线扫彩色CCD相机、三维相机以及机械扫查结构对焊缝正反双面进行高速信息采集。

通过相机与光源的空间独特化设计，结合先进图像处理算法，解决了不锈钢工件表面高反光度对检测结果影响问题；根据焊缝高解析度彩色、三维图像特点，通过图像预处理、缺陷识别算法以及专业化软件开发，实现焊缝微小缺陷信息的自动检测和识别。图12为应用该系统获得的典型薄板激光焊缝图像与相关缺陷信息。  

图12 典型薄板激光焊缝图像与缺陷信息

通过典型不锈钢薄板焊缝双面检测试验表明，该系统扫查速度达150 mm/s，可在10 s内实时完成宽度为0.8 mm、长度为600 mm焊缝的双面缺陷检测与缺陷信息自动识别，缺陷识别率95%，缺陷高度分辨率为0.02 mm，缺陷边缘识别精度为0.05 mm。与数字射线缺陷尺寸测量结果对比，二者检测结果吻合较好，且视觉检测系统对于未焊透、咬边、断焊缺陷的检测更具优势，在x、y方向上缺陷尺寸测量误差均小于0.03 mm。

针对空间三维复杂焊缝表面自动化、智能化检测难题，将工业相机检测系统与多自由度机器人相结合，研制了一套高自由度融合视觉智能检测平台，如图13和图14所示。

图13 复杂零部件表面融合视觉检测系统

图14 复杂零部件表面融合视觉检测软件界面

该平台可实现典型复杂工件位姿识别、零件抓取、三维曲面扫查轨迹生成、焊缝自动化检测、缺陷智能判别与合格工件分选等一系列功能。

高定位精度六轴协作机器人，搭配个性化设计夹持装置，赋予了检测平台极高的产品适应性，可轻松应对各类复杂形面的精细化检测任务；结合自主开发的智能检测软件系统，能够完成焊缝宽度、凹陷深度的自动检测，实现焊缝外表面缺陷（烧塌、咬边、裂纹、孔洞、漏焊等）的融合识别判定、缺陷在图像中的位置标记以及缺陷尺寸测量。

现场的测试表明，在无人工干预的情况下，该系统可自动完成同批次零件表面的自动化检测任务。

为有效解决密封容器焊缝泄漏检测中经常出现的错检、漏检、无法确定单点漏率、不能确定泄漏点等难题，通过传感器、机电系统、数据处理、软件开发方案设计与优化，攻克高灵敏度检测、复杂工件抓取、产线协同等技术瓶颈，研发了一套专业化密封容器焊缝全自动泄漏检测系统，如图15所示。

图15 密封容器焊缝全自动泄漏检测系统

该系统采取自动压紧封堵，配备多通道氮氢检漏仪，可同时实现8通道并行扫描检测，极大提高检测效率；通过研发的智能化软件，可对检测数据实时处理，直观显示各通道浓度和泄漏量，自动记录数据，快速生成、打印报表；具备自动化打码标记功能，可实时在线精准标记不合格位置。实际工程测试表明，该系统可实现智能检测设备与生产线协同运行，可有效突破现有低效率、高成本的人工手动检测模式。

针对航空发动机叶片批量化生产过程中手持超声壁厚测量精度不高、工作强度大、检测效率低等问题，将超声检测、高精度蓝光扫查、机械手等多种技术手段相结合，设计了一套全自动高精度叶片壁厚超声快速测量系统，如图16所示。其工作流程如图17所示。

图16 航空发动机叶片超声自动测厚系统

图17 叶片超声自动测厚流程

该系统采用六轴机械手通过视觉引导完成待测叶片自动抓取，利用高精度蓝光扫描仪完成叶片表面三维点云信息采集与拼接；通过自主研发的模型智能比对算法将采集到的叶片实际点云数据与设计模型进行精准比对，自动生成厚度待测位置的空间坐标；在此基础上，智能检测软件自动识别叶片型号、批号，并根据比对结果自动规划测量点运动轨迹；最后，使用高精度超声测厚仪，采用局部喷水耦合方式对叶片各测点进行逐点自动测量，并生成壁厚测量报告。

该系统可以实现目标测量点处叶片壁厚的精准超声测量，检测效率不低于30 pcs/h，壁厚测量精度为0.03 mm，外形尺寸测量精度为 0.02 mm。

无损检测的可追溯性与质量控制对于保证无损检测的可靠性与准确性至关重要，这也是零部件研制、生产过程的普遍要求。

然而，随着关键装备批量化生产，超声、射线、工业CT等检测技术的综合运用，相关无损检测承接机构检测数据量、数据类型及检测报告等呈现剧增趋势。

检测过程不可控因素增加，数据存储与数据分析难度增大，已成为影响无损检测可追溯和质量控制，制约检测效率提升的重要问题。

信息技术的发展使得数据采集、存储及分析变得更加方便和高效。采用数字化的方式记录和管理数据，可有效提高数据的可追溯性和利用效率。

为此，团队研发了一套检测数据管理系统（DMS）的数据库，如图18所示。该系统旨在实现对检测任务、检测设备、工件检测结果、人员操作日志、审核记录以及用户信息的全面管理以及可视化，确保数据的完整性、准确性、可追溯性、再利用性。

图18 检测数据管理系统

检测数据管理系统的数据库是整个数字化检测流程的核心组件，负责存储、管理和维护检测任务、设备信息、检测结果、人员操作日志等关键数据。利用数据分析方法，可对大量的检测数据进行统计和挖掘，帮助了解无损检测结果的分布规律与异常情况，指导无损检测工作的改进和优化，促进制造工艺的提升。

2023年，团队在智能检测领域持续发力，积淀了丰富的图形处理、缺陷检测识别技术以及智能检测软硬件研发经验，并取得了一系列成果。

针对相关装备智能制造、数字化检测工程实际需求，团队将先进图像处理、智能检测识别技术与典型数字射线、视觉等数字化检测图像分析处理深度融合，集成开发了各类测量、检测与评价软件和自动化检测平台等多套，有效实现了相关产品智能化尺寸测量、缺陷识别、缺陷特征分析与数据管理等重要功能，解决了无损检测领域部分实际工程中存在的自动化程度低、检测效率低、可靠性差和软件工具缺乏等难点问题，为相关产品质量提升与产业升级提供了重要方法、技术及软硬件支撑。

未来，综合所将继续秉承“自主可控，创新发展”的理念，重点围绕工程实际产品无损检测需求，聚焦自动化、数字化、智能化检测技术相关基础性与共性痛点、难点问题，与各界同仁精诚合作，攻坚克难，为各装备主机厂所、材料及零部件生产单位等提供优质综合检测技术服务，也为智能检测行业的快速发展继续贡献力量。