焊点压痕图像采集实验系统设计及图像预处理分析.pdf

实 验 技 术 与 管 理 第 40 卷 第 9 期 2023 年 9 月 Experimental Technology and Management Vol.40 No.9 Sep.2023 收稿日期:2023-04-21 基金项目:上海交通大学复杂薄板结构数字化制造重点实验室开放课题项目（F1103008B）作者简介:张旭强（1974），男，山东青岛，博士，副教授，主要研究方向为新材料焊接，。引文格式:张旭强，万渤麟，于志浩.焊点压痕图像采集实验系统设计及图像预处理分析J.实验技术与管理,2023,40(9):35-40.Cite this article:ZHANG X Q,WAN B L,YU Z H.Experimental system design and image pre-processing analysis of weld spot indentation image acquisitionJ.Experimental Technology and Management,2023,40(9):35-40.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.09.006 焊点压痕图像采集实验系统设计及图像预处理分析 张旭强，万渤麟，于志浩（中国石油大学（华东）机电工程学院，山东 青岛 266580）摘 要：焊点压痕特征能够反映电极磨损和焊点质量的变化，然而压痕特征不规则且难以量化提取的特点制约了对压痕特征、电极磨损和焊点质量关系的进一步研究，因此该研究利用图像识别方法实现对压痕特征的量化提取。首先，设计了压痕特征图像采集实验系统，包括 CCD 相机、镜头、光源等硬件设计；然后，标定图像采集系统；最后，基于采集的特征图像，对比分析了中值滤波、均值滤波与高斯滤波方法对压痕特征图像预处理的影响。结果表明，中值滤波对焊点压痕特征图像具有较好的降噪效果。关键词：焊点压痕；图像预处理；点焊实验系统 中图分类号：TG455 文献标识码：A 文章编号：1002-4956(2023)09-0035-06 Experimental system design and image pre-processing analysis of weld spot indentation image acquisition ZHANG Xuqiang,WAN Bolin,YU Zhihao(College of Mechanical and Electrical Engineering,China University of Petroleum(East China),Qingdao 266580,China)Abstract:Indentation features of weld spot can reflect the changes of electrode wear and weld spot quality,but the indentation features are irregular and difficult to extract quantitatively,which restricts the further study of the relationship between indentation features and electrode wear,and weld spot quality.Therefore,this study uses image recognition methods to achieve quantitative extraction of indentation features.Firstly,an experimental system for capturing indentation feature images is designed,which includes hardware design such as CCD camera,lens and alight source.Then,the image acquisition system is calibrated.Finally,based on the acquired feature images,the effects of median filtering,mean filtering,and Gaussian filtering methods on the pre-processing of indentation feature images are compared and analyzed.The results show that the median filtering has a better noise reduction effect on the indentation feature images of weld spot.Key words:weld spot indentation;image pre-processing;spot welding experimental system 近年来随着对汽车制造强度和轻量化要求的提高，镀锌高强钢板因具有高强度、耐腐蚀和较优的冲压性能等特点，在汽车制造领域得到广泛应用1-2。然而，在电阻点焊过程中镀锌高强钢电极磨损严重且磨损不确定性较大，对焊点质量有较大影响3。焊点压痕是电极在高温高压作用下形成的接触痕迹，能够反映电极磨损程度与焊点质量的变化4-5。由于受电极磨损的影响，压痕特征不规则，难以量化提取，这制约了对压痕特征、电极磨损和焊点质量关系的进一步探究6。因此，本研究旨在设计一个图像采集实验系统，并利用图像识别方法实现对压痕特征的量化提取，对基于压痕特征的焊点质量评价和电极磨损检测具有重要意义7。1 图像采集实验系统设计 图像采集系统的硬件部分主要包括 CCD 相机、镜头、采集卡和光源等部件。该部件对系统的采集精度和后续图像处理影响较大，故需要根据图像采集对36 实 验 技 术 与 管 理 象和精度的要求设计硬件采集系统。在实际生产环境中，生产现场的光照、噪声和电磁干扰等因素会影响焊点压痕图像质量，为了确保图像的质量和后续图像特征预处理、特征提取的准确性，采集系统需与焊接设备处于同一环境下，即保持每张图像样本的光照、噪声和干扰等方面的一致性。基于此，本文设计了图像采集实验系统，包括相机、镜头、光源等部件，如图 1 所示。图 1 图像采集实验系统示意图 1.1 相机 相机作为图像采集系统的核心，在整个图像处理流程中具有重要作用。工业检测领域常用的相机主要有 CCD 相机和 CMOS 相机，两种相机可分为彩色和黑白相机。二者的工作原理都是通过相机感光元件将接收的光信号转换为数字信号，并经计算机处理后显示出图像。二者的主要区别在于数据的读取方式不同，CCD 相机每次仅读取一个或几个节点的数据，且读取的信号需经过 CCD 像素外的运放进行放大，而 CMOS相机内部每个节点有各自的运放，信号可以统一读取。相比之下，CCD 相机输出信号的一致性好、灵敏度高、功耗高、信噪比大；CMOS 相机由于内部集成电路较多，通常易受噪声干扰，对环境要求高。由于采集的焊点压痕图像涉及的色彩信息较少，可用灰度图像进行表示，并且彩色图像蕴含较多信息，对系统计算能力和算法要求较高。因此，图像采集系统中选用黑白CCD 相机。一般情况下，焊点压痕的测量精度要求为0.02 mm，焊点图像的成像视野在5 mm5 mm至7 mm 7 mm 变化，为了方便观察焊点周围母材状态和压痕情况，相机视野选择在 10 mm 左右；为避免采集到的图像发生边缘畸变，保证系统稳定性，选择分辨率 1 000以上的相机。综合上述因素，选用的相机型号为UNIQUP-930CLCCD 黑白相机，其参数如表 1 所示。1.2 镜头 光学镜头能够将目标物体的影像聚焦到相机的感光元件上，从而形成图像。镜头是图像采集过程中的关键组成部分，镜头选择的合适与否直接影响系统的采集质量，进而影响后续处理流程中算法的实现和效 表 1 相机参数 参数 数值 CCD 传感器尺寸/mm 12.7 有效像素 1 0241 024 像元尺寸/mm 4.654.65 帧速率/(帧s1)30 信噪比/dB 58 电源（直流）/V 12 功率/W 4.6 长宽高/(mmmmmm)503983 质量/g 200 果。镜头的参数包括视野范围、光圈范围、焦距和分辨率等，其中焦距为可选择参数，可表示为 WD GfB=（1）式中，f 为光学镜头的焦距；WD 为系统的工作距离；G为 CCD传感器短边尺寸；B为相机短边的视野范围。在所设计的图像采集系统中，工作距离为 150 200 mm，视野范围为 610 mm，CCD 相机传感器尺寸为 12.7 mm，根据上述参数可以计算焦距范围。综合所有因素，选用焦距为 75 mm 的 ComputarLens M7528-MP 镜头，具体参数如表 2 所示。表 2 镜头参数 参数 数值 焦距/mm 75 光圈范围 2.816 分辨率/(lpmm1)100 1.3 光源 在图像采集的过程中，合理设计光源可提升采集图像的质量，减小因亮度或光照不均而产生的噪音和误差。在焊点压痕图像中，使用相同方法提取的同一张图片在不同光照条件下会有较大差别，因此合理设计采集系统的照明方案是获取高质量图像的前提。根据改进的 PIM（phong illumination model）光照模型，揭示了光照、反射面、角度、直射及外界反射等各个光照参量之间的相互作用关系8-9。光照表面上任一点的数学模型可表示为 (,)m(,)d(,)d(,)s(,)s(,)()()x yx yx yx yx yx ykk=+RIIL NIE V（2）式中，L为光源到点(x,y)的单位向量；V为点(x,y)到 CCD 的单位向量；E为点(x,y)到反射镜面的单位向量；11122122aaaa|N为点(x,y)的法线方向；为镜面传播参数；(,)x yR为点(x,y)处摄像机接收的光照强度；张旭强，等：焊点压痕图像采集实验系统设计及图像预处理分析 37 m(,)x yI为点(x,y)处环境光强；d(,)x yk为点(x,y)处漫反射系数；(,)s x yk为点(x,y)处镜面反射系数，d(,)x yI为点(x,y)处漫反射光强，s(,)x yI为点(x,y)处镜面反射光强。相机成像时，光强信号到数字信号的转化可表示为 (,)(,)()x yx y=+FR（3）式中，为相机水平方向焦距；为相机垂直方向焦距；(,)x yF为点(x,y)处数字图像像素值。从上述光照模型可以看出，CCD 相机生成的图像主要受相机本身参数、环境光转换的像素值和反射光转换的像素值影响。因此，在图像采集过程中，需要选择合适的照明光源和恰当的光源设置方案，保持稳定地照明，并确保图像采集质量。工业上常用的光源有 LED 灯、水银灯和白炽灯等，相比于其他光源，LED 灯具有稳定性高、显色性好、亮度高和功耗低等特点。根据发出光线方向的不同，照明设备可分为同轴光源和低角度环形光源。其中，同轴光源发出垂直照射到工作平面的平行光，在光滑平面上会有大量光线以镜面反射的方式进入相机，使 CCD 感光形成图像，但是粗糙表面上会发生漫反射，只有少量光线进入相机；低角度环形光源会使光线在光滑平面上发生镜面反射，只有较少的光线进入相机，但在粗糙平面上发生漫反射时，部分光线会进入相机。两种光源在不同表面的光反射示意图如图 2 所示。根据焊点表面特征，焊点凹坑区域具有较大的粗糙度，而母材处则较为光滑，因此选用低角度环形光源和同轴光源综合应用的方案。基于以上分析，搭建的焊点压痕图像采集实验系统如图 3 所示。图 2 不同光源的光反射示意图 图 3 图像采集实验系统 1.4 图像采集实验系统标定 在使用图像采集系统测量并提取焊点特征图像之前，需要通过实验获取相机的相关参数，建立图像位置与其空间物理位置的关系模型。确定像素与压痕特征实际长度和面积之间的对应关系是图像采集系统标定的关键，标定结果将会直接影响采集系统对压痕特征提取的准确性。图像处理的流程如下：获取焊点压痕特征（如接触面积、压痕直径和点蚀面积等相关参数）的像素数值，根据采集系统的标定结果，得到特征参数的实际大小。由于焊点压痕通常在 5 mm5 mm 至 7 mm7 mm变化，可使用一系列直径不同的标准圆作为图像标定模板，建立像素与实际长度、面积之间的对应关系，从而完成系统的标定，图像标定圆模板如 4 所示。不同接圈长度的像素标定结果如表 3 所示。图 4 图像标定圆模板 表 3 不同接圈长度的像素标定结果 标定结果 接圈长度 15.0 mm 20.0 mm 25.0 mm 30.0 mm每像素长度/m 20.6 19.2 14.9 12.7 每像素面积/(106 mm2)4.26 3.70 2.24 1.64 最佳成像视野/mmmm1212 99 66 44 2 焊点压痕特征图像预处理分析 2.1 焊点压痕特征样本采集 在完成焊点图像采集系统标定后，需要采集焊点数据来构建数据集。首先制作焊点试样，然后获取焊38 实 验 技 术 与 管 理 点压痕图像，并通过破坏性试验的方法获取焊点内部的质量信息。在焊接实验中，选用发那科 R-2000i 六轴机器人和 OBARA AC 型伺服焊枪作为焊接设备，其主要焊接参数如表 4 所示。在实验中，需要将伺服焊枪安装在机器人手臂上，利用机器人控制器与伺服焊枪控制器进行联合控制，并按照特定的焊接工艺参数进行焊接。表 4 伺服焊枪点焊系统主要参数 参数 数值 功率/kW 110 最大焊接电流/kA 18 最大电极力/N 4 903 扭矩/(Nm)17.35 最大行程/mm 160 选用的焊接材料为 0.8 mm0.8 mm的热镀锌高强钢板。在点焊过程中，由于电极端面反复受热和受力，极易发生变形，从而使电极失效，因此对于点焊镀锌高强钢，电极的性能要求较高，需具备高强度、较优的导电导热性能和抗氧化能力。本文选用了直径为5 mm 的球形铬锆铜电极，制备焊点试样规格为100 mm38 mm，重合区域为 38 mm38 mm。在焊接试验过程中，每隔 60120 个点选择一个焊点样件。使用 CCD 相机获取焊点压痕图像，利用碳复印法拓取当前点数下的电极压痕，并通过 CCD 相机扫描存储为数字图像。将选择的焊点样件用于拉伸-剪切试验，从而获取不同焊接点数下焊点的熔核直径。2.2 压痕特征图像预处理分析 在图像采集过程中，由于光照、电磁和抖动等因素的干扰，采集到的图片通常存在噪声。在图像处理过程中，噪声会对细节特征的提取产生较大影响，因此在图像处理的最初阶段需要进行图像预处理操作10，即在保证图像有用信息不受干扰的情况下，选择合适的滤波方式去除噪声的影响。工业生产中常见的噪音包括椒盐噪声、高斯噪声和散粒噪声等。椒盐噪声由电磁干扰和脉冲信号等因素产生，在焊点压痕采集过程中出现频率高，以随机出现的黑色像素点（椒噪声）或白色像素点（盐噪声）的形式存在，该像素点产生的原因是信号脉冲11。图像滤波降噪效果的好坏对后续的图像处理和分析影响较大，常用的图像降噪方法包括均值滤波、中值滤波和高斯滤波。均值滤波是以既定大小的模板窗口（窗口大小为33 或 55）在图像上滑动，计算窗口内的像素均值，再将均值回填到图像中对应位置的滤波方法，实质上是一种低通滤波器12。在数字图像处理领域常采用卷积的方式进行均值滤波，以提高计算效率并减少运算时间。设点(x,y)为均值模板窗口中心点，像素值为 h(x,y)，经过滤波后，点(x,y)处的像素值 g(x,y)可由式（4）计算得到。虽然均值滤波方法简单，但作为一种低通滤波器，在滤波过程中难免会滤掉图像边缘等高频成分，从而导致图像细节的丢失，使图像变模糊。1(,)(,)h wg x yh x yM=（4）式中，M 为模板窗口中像素点的个数；w 为窗口内的像素。中值滤波是一种非线性滤波方法13，实现方式类似于均值滤波，在图像上滑动特定的模板窗口（窗口大小为 33 或 55），对窗口内各点的像素值进行统计排序，并选择排序结果的中位数回填到图像中对应的位置，如图 5 所示。中值滤波的原理是，在图像中噪声所在的位置通常比其周围位置明亮或者暗淡，在进行灰度值排序时，噪点的灰度值会位于排序的左端或右端，因此通过选择中间位置的值来避开噪声。中值滤波能在一定程度上减小均值滤波噪声的细节丢失问题14。在模板窗口的滑动过程中，中值滤波需要不断对窗口内元素进行排序，滤波速度较慢，但是对脉冲噪声非常有效，可在保留图像边缘的情况下消除噪点。图 5 中值滤波示意图 高斯滤波通过将高斯滤波器模板放到原始图像上滑动，根据模板参数和相应的像素值进行加权计算，将结果回填到图像中的对应位置，即可得到滤波结果15。高斯滤波器的模板参数可以通过二维高斯函数离散得到，对于尺寸为(2n+1)(2n+1)的模板，各元素的值可通过式（5）得到。张旭强，等：焊点压痕图像采集实验系统设计及图像预处理分析 39 222(1)(1)2,21e2i nj ni jH-+-=（5）式中，为标准差；Hi,j为滤波后像素，n 为模板大小参数，i、j 为每个像素的横坐标与纵坐标。基于对不同滤波方式的原理和实现方法分析，本文将采集的焊点压痕与电极压痕图像作为分析对象（电极压痕与焊点压痕相关性比较高，可反映电极端面磨损状态），并通过实验验证适用于压痕特征图像预处理的降噪方法。首先，为获取的压痕图像人为引入椒盐噪声；然后，使用不同的滤波方法对图像进行降噪处理；最后，分析各种降噪方法的滤波效果和滤波后图像细节的保持情况。通常情况下，降噪性能通过计算滤波后图像与原始图像的偏差程度来评价16，常用的评价方法有均方误差（MSE）和峰值信噪比（PSNR）两种，MSE 与 PSNR 分别可分别通过式（6）和（7）计算得出。(,)0(,)111MSE()QNi ji jijPPNQ=-（6）式中，N、Q分别为x、y方向上像素的个数；(,)i jP为滤波后图像；0(,)i jP为原始图像。2PSNR10lgMSEl=（7）式中，l 为图像中的灰度等级，结合本文研究的焊点压痕图像，l=255。图 6 和 7 分别为焊点压痕和电极压痕图像采用不同的降噪方法的图像预处理结果；图 8 和 9 分别为不同降噪方法对焊点压痕和电极压痕图像降噪处理后的MSE 与 PSNR 值。根据图 8 和图 9 的降噪对比试验结果，可以得出以下结论：对于焊点压痕和电极压痕图像预处理，中值滤波在滤除噪声方面效果最好，MSE 显著低于其他两种滤波方法；均值滤波和高斯滤波在模糊椒盐噪声的同时也模糊了图像的高频信息，原因可基于滤波原 图 6 焊点压痕图像各降噪算法实验结果 图 7 电极压痕图像各降噪算法实验结果 图 8 焊点压痕图像去噪效果 图 9 电极压痕图像去噪效果 理进行分析。均值滤波与高斯滤波均为线性滤波，会对模板窗口中的所有元素进行加权运算，该方法使噪声点参与到其与模板窗口大小相同的邻域内像素的运算中，将椒盐噪声的灰度值按照一定的比例均匀分散到邻域内的其他像素点上，在图像上表现为椒盐噪声被模糊。相比于均值滤波，高斯滤波增加了位置权重信息，减小了邻域内较远处像素点对中心点的影响。因此，从处理结果来看，高斯滤波的效果略好于均值滤波。中值滤波对窗口邻域内所有元素进行了排序，将椒噪声和盐噪声分别排到了排序结果的两侧，避免了对邻域像素的影响。对于焊点压痕特征图像的预处理，中值滤波滤除噪声效果较好，在消除噪声的同时也保留了图像边缘特征等细节信息。3 结语 基于焊点压痕特征图像的特点和点焊实验环境，40 实 验 技 术 与 管 理 本文设计了一套用于焊点压痕特征图像采集实验系统，该系统包括相机参数、镜头和光源等相关硬件设计，实现了图像采集系统的标定，为后续图像预处理奠定基础。针对焊点压痕图像的特点，本文对比分析了中值滤波、均值滤波和高斯滤波 3 种降噪方法对压痕特征图像预处理的影响，结果表明：中值滤波在消除噪声的同时能较好地保留压痕图像边缘特征等细节信息，对焊点压痕特征图像的预处理效果较好。参考文献(References)1 SUMMERVILLE C,COMPSTON P,DOOLAN M.A comparison of resistance spot weld quality assessment techniquesJ.Procedia Manufacturing,2019,29:305312.2 MAHMUD M,CHO Y J,JIC K,et al.Geometrical degradation of electrode and liquid metal embrittlement cracking in resistance spot weldingJ.Journal of Manufacturing Processes,2021,61:334348.3 REZA Z N.Real-time automated weld quality analysis from ultrasonic B-scan using deep learningD.Canada:University of Windsor,2019.4 张旭强，于志浩.高强钢点焊的压痕特征图像识别及其与焊点质量关系分析J.焊接学报，2021,42(10):6266,72,101 ZHANG X Q,YU Z H.Image recognition of indentation features in spot welding of high-strength steel and its relationship with weld joint qualityJ.Journal of Welding,2021,42(10):6266,72,101.(in Chinese)5 WEI F H,ZHU Y M,TIAN Y F,et al.Resistance spot-welding of dissimilar metals,medium manganese TRIP steel and DP590J.Metals,2022,12(10):1596.6 ZHOU K,YAO P.Overview of recent advances of process analysis and quality control in resistance spot weldingJ.Mechanical Systems and Signal Processing,2019,124:170198.7 WAN X,WANG Y,ZHAO D,et al.Weld quality monitoring research in small scale resistance spot welding by dynamic resistance and neural networkJ.Measurement,2017,99:120 127.8 褚慧慧.基于视觉的焊缝质量检测技术研究D.哈尔滨：哈尔滨工程大学，2017.CHU H H.Research on welding seam quality inspection technology based on visionD.Harbin:Harbin Engineering University,2017.(in Chinese)9 徐超.基于 MLBP-HOG 结合灰度共生矩阵特征的人脸识别方法D.湖北：湖北工业大学，2020.XU C.Face recognition method based on MLBP-HOG combined with grayscale covariance matrix featuresD.Hubei:Hubei University of Technology,2020.(in Chinese)10 赵玉丹.基于 LBP 的图像纹理特征的提取及应用D.西安：西安邮电大学，2015.ZHAO Y D.Extraction and application of image texture features based on LBPD.Xian:Xian University of Posts and Telecommunications,2015.(in Chinese)11 王树强，周游，陈昊雷，等.基于激光视觉的钢结构焊缝图像处理系统J.焊接学报，2022,43(2):101105,112,120.WANG S Q,ZHOU Y,CHEN H L,et al.Image processing system for steel weld seam based on laser visionJ.Journal of Welding,2022,43(2):101105,112,120.(in Chinese)12 田思洋.板带钢表面缺陷目标检测与分类算法研究D.北京：北京科技大学，2019.TIAN S Y.Research on target detection and classification algorithm for surface defects on plate and strip steelD.Beijing:University of Science and Technology Beijing,2019.(in Chinese)13 朱志恩.中值滤波技术在图像处理中的应用研究D.沈阳：东北大学，2008.ZHU Z E.Application of median filtering technology in image processingD.Shenyang:Northeastern University,2008.(in Chinese)14 温佳，王庆成，杨亚楠，等.含噪图像的快速超分辨率重建算法J.实验技术与管理，2020,37(3):6070.WEN J,WANG Q C,YANG Y N,et al.Fast super-resolution reconstruction algorithm for noisy imagesJ.Experimental Technology and Management,2020,37(3):6070.(in Chinese)15 刘丽，赵凌君，郭承玉，等.图像纹理分类方法研究进展和展望J.自动化学报，2018,44(4):584606.LIU L,ZHAO L J,GUO C Y,et al.Research progress and prospect of image texture classification methodsJ.Journal of Automation,2018,44(4):584606.(in Chinese)16 黄继业，刘鑫，董哲康.基于 FPGA 云的实时图像处理在线验证平台设计J.实验室研究与探索，2022,41(11):6670,80.HUANG J Y,LIU X,DONG Z K.Design of real-time image processing online verification platform based on FPGA cloudJ.Laboratory Research and Exploration,2022,41(11):6670,80.(in Chinese)（编辑：张利芳）