点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
![]()
作者：曾臻1,2,王宏博1,2∗,王正家1,2,何涛1,2(1.现代制造质量工程湖北省重点实验室,湖北 武汉 430068；2.湖北工业大学机械工程学院,湖北 武汉 430068)作者简介:曾臻(1986-),男,湖北人,湖北工业大学机械工程学院讲师,研究方向:机器视觉、精密光电检测技术及设备开发；王宏博(1997-),男,湖北人,湖北工业大学机械工程学院硕士生,研究方向:机器视觉、缺陷检测,通信作者；王正家(1970-),男,湖北人,湖北工业大学机械工程学院讲师,研究方向:电子封装工艺与装备、图像处理算法；何涛(1964-),男,湖北人,湖北工业大学机械工程学院教授,研究方向:机器视觉、机电自动化。摘要:软包装锂离子电池铝塑膜外包装凹凸不平且存在反光现象,表面图像的凸点缺陷辨识度低,传统方法很难进行准确识别。分析软包装锂离子电池凸点缺陷图像特征及视觉检测系统,在频域上对图像采用高斯滤波器进行预处理,以达到去除噪声和对缺陷区域图像增强的效果。用逆傅里叶变换将图像从频域转回空间域,最后将处理后的图像导入基于语义分割方法的深度学习模型,进行凸点缺陷检测。对400组缺陷样本进行测试,结果表明:所提方法对软包装锂离子电池缺陷检测的准确率达到95.75%;而未经频域图像增强方法处理的检验准确率仅为44.00%。检测结果准确率得到提高,说明该方法能对软包装锂离子电池表面图像的低辨识度凸点缺陷进行检测,具有一定的实用价值。关键词:频域；图像增强；软包装锂离子电池；凸点；缺陷检测文章编号:1001-1579(2023)03-0284-05Surface bump defect detection for pouch Li-ion battery
ZENG Zhen1,2,WANG Hong-bo1,2∗,WANG Zheng-jia1,2,HE Tao1,2
( 1.Hubei key Laboratory of Modern Manufacturing Quality Engineering,Wuhan,Hubei 430068,China;2.Hubei University of Technology,School of Mechanical Engineering,Wuhan,Hubei 430068,China )
Abstract:Because of the uneven and reflective appearance of the aluminum-plastic film outer packaging of the pouch Li-ion battery,the identification of the bump defect of the surface image was low,which was difficult to be accurately identified by traditional methods. The image features of bump defects of pouch Li-ion battery and visual detection system were analyzed. Gaussian filter was used to preprocess the image in frequency domain to achieve the effect of removing noise and image enhancement of defect area. Inverse Fourier transform was used to transfer the image from frequency domain to space domain. Finally,the processed image was imported into the deep learning model based on semantic segmentation method for bump defect detection. 400 groups of defect samples were tested,the results showed that the defect detection accuracy of pouch Li-ion battery by proposed method reached 95.75%. The detection accuracy without processing with frequency domain image enhancement method was only 44. 00% . The
detection results had been significantly improved,which proved that the method could detect the low recognition bump defects of the surface image of the pouch Li-ion battery and had a certain practical value.
Keywords:frequency domain; image enhancement; pouch Li-ion battery; bump; defect detection
锂离子电池的外包装是一层铝塑膜,厚度一般都不超过0.1mm,质量轻但易受损。锂离子电池在恶劣情况(过充电、撞击和高温)下使用时,电解液容易分解并释放气体,导致铝塑膜凸起[1],表面容易出现凸点甚至失效。这些缺陷若不能被及时检出,不仅会缩短电池的使用寿命,还会造成一定的安全隐患。软包装锂离子电池表面的凸点缺陷在常规光照条件下辨识度较低,加上表面有一定的凹凸纹理特性,降低了凸点缺陷的视觉分辨效果;同时,由于型号的不同,电池中间会凸起一个位置不固定且不规则的长方体区域;此外,铝塑膜材料还存在严重的反光现象。软包装锂离子电池表面的上述特性,严重影响了计算机视觉对凸点缺陷的识别。目前,电池生产商对这一问题尚无成熟的应用于生产的方案,仍主要依靠人工检测,不仅成本高,还会存在误检和漏检等现象。有必要找到一种低成本、高准确率的检测方法,而用计算机代替人眼检测,是一种很好的方法。由于软包装锂离子电池表面形貌复杂,表面缺陷难以检出,目前对电池表面凸点缺陷的检测技术还有一定的局限。Y.G.Chen等[2]首先利用soble算子对电池表面肉眼难以看到的凹坑进行提取,然后利用形态学去除图像中非凹坑的区域,但soble算子对于图像边缘定位不准确,很难进一步对图像进行形态学处理。刘春等[3]对比使用4种边缘检测算子检测橡胶圈凸点缺陷的效果,最终选用Canny算子对凸点进行检测。该方法对电池表面本身存在凹凸不平的情况检测精度较低,容易对合格区域造成误判。黄梦涛等[4]提出一种基于改进Canny 算子的锂离子电池极片表面划痕缺陷检测方法,对图像梯度信息更加敏感,但用于表面形貌复杂的电池时,仍有一定的局限性。肖艳军等[5]对采集到的轧辊图像进行前景提取,去掉背景造成的干扰后,再利用维纳滤波去除图像噪声,保留图像中的缺陷信息。该方法对于测试反光物体表面缺陷具有一定的借鉴意义,但对于软包装锂离子电池表面凸点,仍无法较准确地识别。有鉴于此,本文作者提出一种基于机器视觉的软包装锂离子电池表面凸点缺陷检测方法。首先,利用离散傅里叶变换(DFT)将被测物体的灰度图从空间域转换到频域;再在频域上使用高斯滤波器对图像进行过滤,以去除大部分图像背景噪声;将过滤后的图像利用傅里叶逆变换转回到空间域并保存;最后,用保存的图像导入基于语义分割方法的深度学习模型,进行识别,以期提高检验准确率。1 软包装锂离子电池表面缺陷检测系统
软包装锂离子电池视觉检测系统如图1所示。该系统检测单只锂离子电池的时间小于0.5s,可满足实际生产检测的需求。Fig.1 Schematic diagram of visual detection system实验用锂离子电池(武汉产)样品(长55 mm、宽25 mm、厚5 mm),正极材料为锰酸锂(LiMn2O4),负极材料为石墨烯,额定电压3.7V。根据GB/T 33143—2022《锂离子电池用铝及铝合金箔》[6],对直径大于1mm的凸点进行检测。为确保拍摄的电池图像满足标准中横向分辨率0.09mm的要求,在视觉检测系统方案中,选用一个500万像素分辨率的工业相机和12mm焦距镜头。为了使图片拍摄效果达到最佳,各光源拍摄效果如图2所示,圈内为凸点缺陷。Fig.2 Comparison of shooting effects of three light sources图2(a)选用低角度环形光拍摄,四周反光,而中间区域无法分辨凸点;图2(b)选用同轴光拍摄,当凸点缺陷较小时,很难分辨出来;图2(c)选用单侧条形光拍摄,由于凸点凸起,选用条形光可以将凸点更清楚地辨别出来。选用Halcon-21.11开发平台对图像进行编程处理。该图像检测系统满足标准GB/T 33143—2022对设备精度的需求。为避免软包装锂离子电池表面铝塑膜的反光影响,选用3种条形照明光源,分别从3个方向斜向下45°对电池进行照射,使表面有凸点的位置形成一边亮、一边暗的情况,以增加凸点缺陷图像的辨识度,采集到的图像如图3所示。Fig.3 Comparison of defective and qualified products在生产工艺中,铝塑膜被冲压到电池上时,难免会在边角区域形成凹坑或凸点,而电池中间会凸起一个位置不固定且不规则的长方形[7]。这些区域都会影响对凸点缺陷的检测,尤其是当凸点直径较小时,会更难将凸点区域与合格区域区分开。为突出图像凸点区域,将图像采集时的曝光值减小,降低反光和高亮度区域的影响。图4为图3中凸点缺陷图的灰度直方图,图5为凸点区域灰度示意图,其中,深黑色区域为灰度值从75到80区间的所有像素点。从图4可知,凸点部分区域的灰度值和邻域灰度值相近,无法直接将凸点缺陷区域与邻域区分开,因此,若直接将图像导入基于语义分割方法的深度学习模型进行识别,会影响检测的准确率。Fig.4 Gray histogram of Li-ion batteryFig.5 Gray scale schematic diagram of bump area针对软包装锂离子电池表面形貌特性,为增加凸点检测的准确率,首先对图像进行预处理,再将预处理后的图像导入深度学习模型中进行识别,选取的研究方法流程见图6。由于软包装锂离子电池表面图像缺陷区域和邻域对比度不高,若将得到的图像直接用于深度学习模型,会导致大量的误判。为突出缺陷区域,在对图像进一步处理之前,首先需要对图像灰度化,进行去噪处理。图像去噪处理域可以分为两大类:空间域和频域[8]。频域法是将原始图像分解成不同频率的信号,对这些不同频率的信号进行处理,就可达到图像增强的目的[9]。图像在空间域中较难得到增强或者去噪时,往往在频域上变得简单。将图像从空间域转到频域常使用DFT[10],公式为:式(1)中:M、N分别是图像的长和宽;x、y都是空间域的值;u、v都是频域的值;e、j是常数;F(u,v)是图像f(x,y)的变换函数。将软包装锂离子电池灰度图(图5)从空间域转换到频域,转换后的图如图7 所示。Fig.6 Flow chart of research methodFig.7 Frequency domain diagram after Fourier transform在与其他滤波方法进行对比后,实验选用高斯滤波对图像进行去噪处理。高斯滤波是一种线性平滑滤波,通过对整幅图像进行加权平均处理,达到降噪的目的。每个像素点的值都由本身和邻域其他像素值经过加权平均得到[11]:在高斯滤波中,可将中心点的权重值加大,远离中心点的权重值减小,在此基础上,计算邻域内各个像素值不同权重的和。经高斯滤波器卷积处理后,得到的结果见图8。Fig.8 Diagram after convolution of Gaussian filter将经过高斯滤波器卷积后的图像从频域再转换到空间域,可以选用傅里叶逆变换[12],公式为:Fig.9 Effect after inverse Fourier transformFig.10 Gray scale of bump area of image after preprocessing对比图10和图5,可以看出图像凸点缺陷区域和邻域对比度明显提高,但电池边缘与长方形区域断续点状部分的灰度值及形状与凸点缺陷区域相似,若直接用形态学分析,很难将凸点直接提取出来。结合深度学习对图像进行进一步处理,选用深度学习中的语义分割方法[13]。语义分割模型可将图像中的每一个像素按设定好的语义标签进行分类[14]。选用该模型,可以处理更复杂场景的分割任务。在训练模型前,共计采集软包装锂离子电池图片400张。首先,通过Halcon 自带打标签软件DLtool对预处理后的图进行标注;然后,将数据集分为训练集300张、测试集50张和验证集50张。将Epoch 设置为40,1个Epoch表示为一个完整的数据集进行了一次训练。学习率设置为0.0001,学习率是优化算法中的调整参数,Epoch和学习率一般根据经验获取。经过约34min的测试,完成40个Epoch。评估结果如图11所示,损失率约为0.0581。Fig.11 Training evaluation result chart检测完成后,将检测到的缺陷区域叠加标注到原图上,检测结果如图12 所示。Fig.12 Schematic diagram of detection results of defective and qualified products3 验证结果
为验证设计的实验方法的可行性,将采集到的400张图片直接进行打标签处理,跳过频域预处理步骤,直接进行深度学习训练。受到电池本身凹凸不平的影响,此时会得到大量的误判结果,如图13所示,最终检验结果如表1所示。这种未加预处理的测试方法的最终检验准确率为44.00%。Fig.13 Schematic diagram of defect detection misjudgmentTable 1 Test result table of comparative experiment缺陷类别 | 数量/只 | 误检率/ % | 准确率/ % |
样本数 | 正确检测 | 漏检 | 误检 |
合格 | 200 | 110 | 0 | 90 | 45.00 | 55.00 |
凸点 | 200 | 66 | 0 | 134 | 67.00 | 33.00 |
总计 | 400 | 176 | 0 | 224 | 56.00 | 44.00 |
为验证实验结果的准确性,采用所提检测方法,对合格样品、存在凸点的样品各200只,共400 只电池进行分析,得到的检测结果见表2。Table 2 Test result table of experiment缺陷类别 | 数量/只 | 误检率/ % | 准确率/ % |
样本数 | 正确检测 | 漏检 | 误检 |
合格 | 200 | 191 | 0 | 9 | 4.50 | 95.50 |
凸点 | 200 | 192 | 0 | 8 | 4.00 | 96.00 |
总计 | 400 | 383 | 0 | 17 | 4.25 | 95.75 |
从表2可知,将合格区域误检为缺陷区域的比例为4.25%,最终检验准确率为95.75%。进一步随机抽取10个凸点缺陷,根据凸点检测结果的外接圆直径和真实外接圆直径,得出检测结果的绝对误差和相对误差,检测结果见表3。Table 3 Table of error analysis序号 | 凸点外接圆直径/mm | 绝对误差/mm | 相对误差/% |
测量值 | 真实值 |
1 | 1.47 | 1.41 | 0.06 | 4.08 |
2 | 5.23 | 5.37 | 0.15 | 2.87 |
3 | 7.82 | 7.68 | 0.14 | 1.79 |
4 | 3.17 | 3.09 | 0.08 | 2.52 |
5 | 8.62 | 8.84 | 0.22 | 2.55 |
6 | 2.14 | 2.07 | 0.07 | 3.27 |
7 | 4.73 | 4.59 | 0.14 | 2.96 |
8 | 7.51 | 7.28 | 0.23 | 3.06 |
9 | 1.98 | 1.92 | 0.06 | 3.03 |
10 | 4.43 | 4.57 | 0.14 | 3.16 |
4 结论
针对软包装锂离子电池表面图像凸点缺陷对比度低、反光、凹凸不平,难以进行准确检测与识别的问题,本文作者在频域上使用高斯滤波对图像进行处理,再将处理后的图像用深度学习训练好的模型进行进一步检测。建立软包装锂离子电池图像凸点缺陷检测系统,通过照明系统的合理设计避免反光等问题,提高了凸点缺陷图像的辨识度。在频域上,使用高斯滤波对图像进行处理,处理后的图可减少缺陷邻域的噪声,改善缺陷区域和邻域对比度差的问题,有利于提高深度学习模型的识别率。设计的锂离子电池凸点缺陷视觉检测方法,最终检验准确率可达95. 75%,而同样的图像未加预处理直接进行深度学习算法处理,检验准确率仅为44. 00%,证明了该方法的可行性与实用性。下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
