基于机器视觉的芯线包筒缺陷检测方法研究.pdf

SOFTWARE软 件2023第 44 卷 第 7 期2023 年Vol.44,No.7基金项目：浙江理工大学科技与艺术学院院设科研项目资助（KY2022005）作者简介：季坚莞，实验师，研究方向：智能仪器；张胜利，讲师，研究方向：模式识别；陈淼，实验师，研究方向：嵌入式类；李伟，教授，研究方向：传感器类。基于机器视觉的芯线包筒缺陷检测方法研究季坚莞 张胜利 陈淼 李伟（浙江理工大学科技与艺术学院，信息与控制学院，浙江绍兴 312300）摘要：为了解决电器芯线生产中出现的芯线包筒检测精确度不高和检测效率低的问题，提出一种基于机器视觉的非侵入式缺陷检测方法用以检测喇叭口缺失。通过图像滤波去噪、图像的二值化处理以及图像的特征提取，解决检测背景复杂、噪声干扰大等问题，并提高图像的对比度、突出感兴趣区域（ROI），再采用梯度算法进行边缘特征检测，进而对缺陷区域特征信息进行快速的定位及分类。试验结果表明，该缺陷检测方法不仅可以有效提高检测效率，又能保证较高的检测准确度和精度，满足实际工业检测需求，具有良好的实用价值。关键词：机器视觉；芯线包筒；缺陷检测；图像处理；非侵入式中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.07.012本文著录格式：季坚莞,张胜利,陈淼,等.基于机器视觉的芯线包筒缺陷检测方法研究J.软件,2023,44(07):048-051Research on Defect Detection Method of Core Wire Covering Tube Based on Machine VisionJI Jianwan,ZHANG Shengli,CHEN Miao,LI Wei（Keyi College of Zhejiang Sci-Tech University,School of Information and Control,Shaoxing Zhejiang 312300）【Abstract】：In order to solve the problems of low accuracy and low efficiency in detecting the core wire package in the production of electrical core wires,a non-intrusive defect detection method based on machine vision is proposed to detect the absence of speaker mouths.Through image filtering,binarization,and feature extraction,the method solves problems such as complex background and large noise interference,improves the contrast of the image,highlights the region of interest(ROI),and uses gradient algorithms for edge feature detection.Then,the feature information of the defect area is quickly located and classified.Experimental results show that the defect detection method can not only effectively improve detection efficiency,but also ensure high detection accuracy and precision,which meets the needs of practical industrial detection and has good practical value.【Key words】：machine vision;core wire sheathing;defect detection;image processing;non-intrusive基金项目论文0 引言随着现代电子工艺技术的快速发展，各类电气设备生产需求量大幅增长。芯线包筒端口压接工艺是一种有效而可靠的导通连接方案，该方案是利用原材料（端子、导线和防水堵）加工成线束的重要工序1，其工艺质量直接影响电气芯线的使用安全性。然而在芯线生产过程中，由于受其原料、设计方案、生产工艺等因素的影响，通常会出现绝缘层缺陷、端口压接缺陷、线束毛刺等问题2，进而影响产品质量。因此，芯线包筒端口的缺陷检测问题亟需得到解决。以往的人工检测方法存在智能化程度低、检测效率低、劳动强度大等缺点，同时受检测人员个人因素及生产环境的影响。随着智能制造技术的发展，机器视觉在金属表面、纸张等印刷品、纺织品、磁砖、玻璃、木材等表面缺陷检测在国内外有较多的研究成果3。该种方法具备非接触式、非侵入式的优点，在很大程度上克服了人工检测漏检或误检等情况4，并且具有很高的可靠性和稳定性。目前机器视觉在针对电气芯线包筒端口（如图 1 所示）的缺陷检测研究还存在很大的缺口，因此针对此类问题本文提出了一种基于机器视觉的芯线包49季坚莞 张胜利 陈淼等：基于机器视觉的芯线包筒缺陷检测方法研究筒端口缺陷检测方法，不仅可以提高缺陷的检测效率，同时还具有很好的检测准确率。图 1 电气芯线成品外观图Fig.1 Appearance of the finished electrical core wire1 芯线包筒缺陷检测方案设计1.1 检测缺陷目标芯线包筒缺陷其主要来源于线束的压接工艺，线束的压接工艺是指通过施加外力将接触件端口咬合在已经剥离绝缘体的导线上5，从而与导线牢固结合。其缺陷类型主要是喇叭口缺失问题，如图 2 所示。图 2 喇叭口缺陷产品对比图Fig.2 Comparison of defective products with flares本文提出的检测方案主要是针对上述喇叭口缺失的缺陷检测问题。1.2 检测方案设计本芯线包筒缺陷检测方法主要包含 5 个部分：图像采集、图像预处理、特征提取、感兴趣区域（Region of Interest，ROI）定位检测以及数据记录。其主要功能是通过对原始图像的处理及时对缺陷产品进行报警，并上传缺陷记录。基于机器视觉的芯线包筒缺陷检测的整体方案设计，如图 3 所示。系统显示图像采集设备数据记录图像预处理模板匹配获取ROI区域SSMI算法标记缺陷区域图 3 检测方案设计流程图Fig.3 Flow chart of testing scheme design2 芯线包筒缺陷图像预处理由于受到生产过程中多种因素的影响，采集到的原始数据有混叠噪声等。为解决这一问题，在进行缺陷检测之前通常会采用图像预处理的方法来提高图像的可识别性。常用的图像预处理有滤波降噪、色彩增强、图像矫正等。其中文献 6 中张相胜等人就采用转换色彩空间、畸变矫正来提高图像的可识别性。本文则采用灰度化图像和高斯滤波对图像进行预处理。2.1 图像灰度化图像的灰度化是滤除 RGB 图像的其他信息只保留其亮度信息，并将亮度进行量化处理的一种方法。常见的图像灰度化方法有分量法、最大值法、加权平均法等。根据芯线包筒图像的特点，本文采用加权平均法进行灰度化处理，计算公式如式（1）所示：(1)其中表示得到的灰度矩阵，、分别为 R、G、B 得通道分量矩阵。2.2 高斯滤波高斯滤波器是一种线性平滑滤波，主要根据高斯函数来选择权值，能够有效地滤除符合高斯分布的噪声模型。对于图像来说，常采用二维 0 均值离散高斯函数作为平滑滤波器，计算公式如式（2）所示：(2)其中高斯分布参数决定了高斯滤波器的宽度，进而决定了平滑程度。本文选取的卷积核进行高斯滤波，以达到保证滤波效果的同时尽可能保留细节信息。3 芯线包筒缺陷识别与分类3.1 ROI 区域提取模板匹配是数字图像处理的重要组成部分，也是ROI 区域提取的重要方式。文献 7 黄思博等人也同样运用了此类方法进行 ROI 区域提取。而本文采用平方差匹配算法，平方差匹配算法公式如式（3）所示：(3)其中为模板矩阵，为源图像矩阵，由式（3）展开后得如式（4）所示：(4)式（4）中，是一个常数，与无关。是模板覆盖下的子图像，是子图像和模板的互相关函数。通过将覆盖在上的每个位置，并把度量值保存到结果图像矩阵中，如式（5）所示：(5)50软 件第 44 卷 第 7 期SOFTWARE在中的每个位子都包含匹配度量值，归一化后可得，如式（6）所示：(6)3.2 Sobel 算法经过高斯滤波器后，尽管得到相对平滑的图像，但也同时在一定程度上掩盖了图像的细节特征。为了解决平滑后的图像特征信息丢失的问题，本文采用 Sobel 算子进行边缘特征提取，进而突出图像细节信息。其主要是将图像的每一个像素点的 X、Y 方向的灰度值进行计算，计算公式如式（7）所示：(7)但在实际应用中，为了提高计算效率则采用如式（8）所示的公式近似代替：(8)再根据像素点 4 邻域点，进行灰度值的加权差计算，进而完成边缘特征信息的提取。3.3 SSIM 算法SSIM 算法，即结构相似性，是一种衡量两幅图相似度的重要指标之一。其主要通过亮度，对比度，结构等信息计算图片相似度。SSIM 表征相似性计算公式如式（9）-式（11）所示：(9)(10)(11)其中、分别表示图像、的均值，、分别表示图像、的标准差，、为图像、方差，为图像、的协方差。最后求得指数如式（12）所示：(12)为了简化计算令，并带入式(9)可得到如式（13）所示：(13)最终计算得到的 SSIM 值介于 0 到 1 之间，即 SSIM值越大两幅图像之间的差异越小，反之则差异越大。3.4 建立数学模型在此类缺陷问题上，早在 2015 年李秀娟等人8就已经提出采用融合角点、宽度、角度信息检测端口，但检测效率相对较慢。为了提高检测效率，同时增强鲁棒性，本文采用将 Sobel 算子和 SSIM 算法进行融合，求得相应的特征数据，并以此建立针对包筒喇叭口缺失问题建立检测模型。基本计算公式如式（14）所示：(14)其中，模板匹配的坐标信息、为改进的 SSIM相似度信息，为测量噪声。根据最小二乘法估计原理，最小化预测值与实际值的偏差平方和如式（15）所示：(15)分别对和求一阶偏导并令其等于 0，整理后得到如式（16）、式（17）所示：(16)(17)由公式(13)可以推出如式（18）、式（19）所示：(18)(19)4 芯线包筒缺陷检测实验与分析与此同时，我们也对本文提出的检测方法进行实验验证。实验验证建立在生产企业提供的样本数据库中。我们对数据库中的图像进行随机抽取 100 张图像进行检测。首先通过灰度化图像以及高斯滤波器得到平滑图像，如图 4、图 6(a)所示。图 4 高斯滤波后的待检图像Fig.4 Image to be examined after Gaussian filtering随后通过 Sobel 算子进行图像边缘信息的计算，以此突出物体的特征信息，如图 5，图 6(b)所示。图 5 Sobel 计算后的待检图像Fig.5 Image to be inspected after Sobel calculation最后通过 SSIM 计算结构相似性，并建立数学模型对随机抽样的产品图片进行检测，标注结果，如图 7、图 8 所示。51季坚莞 张胜利 陈淼等：基于机器视觉的芯线包筒缺陷检测方法研究我们在对本文方法的检测数据进行统计整理的同时，还通过与人工检测实验以及单一模板匹配、角点检测等检测方法进行对比实验，统计数据如表 1 所示。不难看出本文提出的检测方法有相当好的检测效率，其准确率也相对较高。5 结语在针对芯线包筒端口缺陷的检测中，为了解决人工目检效率低、准确率低等问题，本文提出了一种基于机器视觉的非侵入式缺陷检测方法。该方法主要通过图像预处理技术进行图像降噪，采用模板匹配的方法进行ROI 区域定位，最后利用 Sobel 算子和 SSIM 算法相结合进行特征数据地提取并建立分类模型。通过对比试验，本文所提出的缺陷检测方法在有效提高检测效率的同时，确保了检测的准确率和高精度，精度可达 97%以上，漏检率小于 0.7%，满足工业生产与质检需求，为生产制造企业创造更大的利润空间。参考文献1 奚雷康.浅谈汽车线束端子压接工艺J.汽车实用技术,2020(14):129-131.2 韩珍.论线束端口的压接工艺J.中国高新科技,2017,1(6):28-30.3 汤勃,孔建益,伍世虔.机器视觉表面缺陷检测综述J.中国图象图形学报,2017,22(12):1640-1663.4 徐伟锋,刘山.基于机器视觉的接头组件表面缺陷检测系统研究J.机床与液压,2020,48(16):72-77.5 张新丰,杨殿阁,薛雯,等.汽车电器不变线束连接系统J.清华大学学报(自然科学版),2009,49(2):281-284.6 张相胜,焦鹏,潘丰.基于机器视觉的汽车线束压接缺陷检测系统J.仪表技术与传感器,2020(3):73-77.7 黄思博,蔡昭权,方晓彬,等.基于机器视觉的汽车线束外观检测方法研究J.现代计算机,2019(19):87-92.8 李秀娟,李贝贝,于心俊.线束端子在线检测系统J.自动化仪表,2015,36(6):65-68.(a)高斯滤波后模板图像 (b)Sobel 计算后模板图像 图 6 处理后的模板图像Fig.6 Processed template image图 7 检测合格产品Fig.7 Qualified products tested图 8 不合格产品Fig.8 Nonconforming product表 1 实验结果对比Tab.1 Comparison of experimental results检测方法样品个数误检数漏检数准确率/%人工目检115211788.16215090.1338293.42机器视觉模板匹配15210292.11角点检测3396.05本文方法2197.37