基于机器学习的超薄板焊接接头微尺度信息检测和识别.pdf

第 卷 第 期 智 能 计 算 机 与 应 用 年 月 文章编号：（）中图分类号：文献标志码：基于机器学习的超薄板焊接接头微尺度信息检测和识别潘雪航，何建萍（上海工程技术大学 材料科学与工程学院，上海）摘 要：超薄板焊接对接头处的任一细微变化，均要求实时调节焊接热输入和焊枪对中，以保证焊接质量。因此，对超薄板对接接头微尺度信息的检测和识别尤为重要。本研究基于超薄板焊接对接接头的视觉传感检测，以焊接接头图像的像素点 值为试验对象，通过 聚类模型进行深度学习，训练后的二值化图像采用 算子提取轮廓，实现了 超薄板焊接对接接头不同微尺度信息的检测和识别，并计算出了焊接接头间隙宽度的细微变化和接头中心位置的偏移程度。试验结果表明，采用对像素点 值进行 聚类的方法，能更有效地分割焊接接头图像。进行一定次数的机器学习后，可以精确识别 厚对接接头的细微变化，通过 算子可以可靠提取由机器学习训练出的焊接接头二值化图像的细小毛刺、间隙直线度和间隙尺寸的细微变化，计算出的接头间隙宽度和中心位置偏移量，可为精确实时调节焊接热输入和焊枪对中提供有力支撑。关键词：超薄板；焊接接头；聚类；轮廓提取；微尺度信息 ，（，）【】，【】；?哈尔滨工业大学主办系统开发与应用基金项目：国家自然科学基金（）；上海市科委基础研究重点项目（）。作者简介：潘雪航（），女，硕士研究生，主要研究方向：微束等离子弧焊、自动控制、设备通讯等；何建萍（），女，博士，教授，主要研究方向：精密焊接过程的机电光焊一体化复杂系统的智能化控制。通讯作者：何建萍 ：收稿日期：引 言 及以下板厚的超薄板由于其极薄的特征，对焊接热输入非常敏感。在超薄板焊接过程中，焊接接头处任意一个细小的毛刺、微尺度的剪切不齐所引起的接头间隙细微变化或直线度细微变化都会造成烧穿、未焊透或成形质量不一致等焊接缺陷，这就要求对焊接接头处的这些细小毛刺和细微变化进行精确的检测和识别，以此作为精细实时调节焊枪位置和焊接热输入的依据。高分辨率的视觉传感器，是检测 及以下板厚的超薄板焊接的接头细小毛刺和细微变化的最直接方法，对所获取的焊接接头图像进行阈值分割是图像处理的关键一环。阈值分割的方法主要有：直方图阈值分割、熵的阈值分割、聚类阈值分割等。传统的直方图阈值分割方法由于其自身的局限性，已经渐渐淡出了人们的视野，如最频法、直方图凹面分析法等；熵的阈值分割方法是最简单也是最常用的一种图像分割方法，但对接头图像噪声要求较为严格，需进行平滑后再分割；聚类阈值分割方法包括：聚类分割、模糊 均值聚类分割等。其中，聚类分割是一种比较成熟的聚类分析方法，在图像分割中应用广泛。本文在研究搭建了超薄板焊接接头细小毛刺和细微变化的视觉传感检测系统的基础上，通过以太网的焊接接头图像信息传输，在主控平台上进行不同次数的深度学习，直至损失函数收敛，实现精确聚类分割，分离出对接接头形态后，填平小连通区域，用 边缘算子提取 厚超薄板焊接的无间隙对接接头形貌，进一步识别接头处的细小毛刺和间隙的细微变化或直线度的细微变化；并遍历了机器学习分割的焊接接头图像素点，沿焊接方向提取焊接接头间隙宽度的变化和间隙中心位置的偏移，可作为调节焊接热输入和焊枪对中的前提。超薄板焊接接头检测与识别系统基于视觉传感的 厚超薄板焊接接头的检测系统架构如图 所示，主要由 相机、相机的供电电源、精密纵缝焊机行走机构和 端组成。其中，相机供电电源为 相机提供 的电源输入；相机通过支架与焊枪连接在一起，并被安装在焊枪的前端，可以对超薄板的对接接头进行实时拍摄；精密纵缝焊机行走机构拖动 相机和焊枪沿焊接方向移动；供电后的 相机实时地将获取的焊接接头图像信息从 接口通过以太网线传输给 端；端在主控平台 上，对获取的焊接接头图像进行图像处理，提取和识别焊接接头处的细小毛刺和间隙的细微变化或直线度的细微变化。相机供电电源网线接口P C 端主控平台以太网L A NL A M PI/O焊接接头形态精密纵缝焊机行走机构相机D A L S Ap o w e r图 超薄板焊接接头检测识别系统 试验对象为 厚 不锈钢超薄板焊接接头图像的像素点信息，通过无监督机器学习对焊接接头图像的像素点进行 聚类，分离出焊接接头形态，获得焊接接头间隙宽度和间隙中心位置偏移量。超薄板焊接接头检测识别系统架构如图 所示。聚类分析 聚类模型特征 聚类属于无监督的机器学习，三维坐标系的、轴分别代表焊接接头图像像素点的、三通道，焊接接头图像像素点用三维坐标系的位置对应，聚类过程如下：（）随机分配 个初始分类中心后，将每个像素点分配到距离最近的质心；（）取像素点位置的平均值，更新集群质心，再次分配像素点和求取像素点位置的平均值进行迭代，迭代次数满足要求的标准是损失函数收敛。损失函数数学模型为，()（）（）（）其中，表示质心所属的簇；表示质心；表示像素点个数；（）代表第 个像素点；（）表示（）所属的簇；（）表示簇（）对应的质心；损失函数单调减小至最小值后符合收敛条件。聚类数据试验用 聚类模型进行阈值分割，分离出 厚 不锈钢超薄板焊对接接头形貌，识别出接头处的细小毛刺和间隙的细微变化或直线度的细微变化等各种情况。表 为用机器学习识别焊接接头的 种不同情况。表 机器学习识别的 种焊接接头情况 需调焊接热输入和焊枪位置需调焊枪位置需调焊接热输入难以识别焊接接头间隙轮廓细小毛刺微小直线度变化微尺度间隙变化量拍摄图像不清晰接头情况检测和识别原因焊接接头图像智 能 计 算 机 与 应 用 第 卷 是 聚类的重要参数之一，由于试验要将母材和焊接接头区分开来，故焊接接头图像中像素点的分类数量 指定为，此时聚类结果用纯黑色（）和纯白色（）进行标记。试验中视觉传感拍摄到的焊接接头图像为、三通道图像，且图像中每一个像素点的、值相等，整个焊接接头图像呈现灰色。图 为焊接接头图像像素点在 坐标上的位置。其中，图（）图（）分别与表 中焊接接头图像 图像 对应。表 中，图像 图像 所示的焊接接头形态较为清晰，黑白分明，图像像素点分布相似，值的跨度比较大；图像 获取时的视觉传感检测受光线影响大，清晰度差，个别地方曝光过度，使、值变大，直线、向顶点（，）延伸；图像 较暗，分辨率差，对应于图（）的、值较为集中且偏低。试验通过对图 各像素点在 坐标轴上的空间位置进行聚类，经过一定次数的机器学习，分离出焊接接头形态并进行结果标记。将像素点的灰度值聚类用于图像分割，当 端处理器为 ，内存为 时，随机初始质心，聚类结果标记相同情况下对像素点、值聚类深度学习 次所用时间为 左右；对像素点灰度值聚类学习 次所用的时间为 左右。与本试验中的像素点灰度值进行聚类相比，直接对像素点在 坐标轴上距离进行聚类，可以省去将、图像转化为单通道灰度图像的预处理步骤，缩短了焊接接头的检测和识别时间，确保焊枪对中和焊接热输入的精确实时调节。2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B（c）像素点R G B 值的范围分别为4 4-1 9 72 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B2 5 02 0 01 5 01 0 05 0001 0 02 0 0GR2 0 02 5 01 5 01 0 05 00B（a）像素点R G B 值的范围分别为4 6-1 9 6（b）像素点R G B 值的范围分别为5 7-1 9 6（d）像素点R G B 值的范围分别为4 7-1 9 7（g）像素点R G B 值的范围分别为5 2-2 5 4（e）像素点R G B 值的范围分别为7 2-1 9 5（f）像素点R G B 值的范围分别为4 6-1 9 8（h）像素点R G B 值的范围分别为3 3-1 0 5图 像素点在 坐标上的位置 焊接接头微尺度识别和特征信息提取 提取过程当试验像素点聚类的种类数目 设定为，在随机初始化聚类中心的条件下，进行无监督的机器学习，设置不同的深度学习次数 对深度学习后焊接接头图像进行像素点遍历，在颜色变化处计算连通区域的面积大小，并删除轮廓面积不足 个像素点的区域在上述机器学习的基础上，进一步采用 算子进行微尺度的焊接接头轮廓提取。其中包括：用高斯滤波器平滑图像；通过 算子用离散微分法，结合高斯平滑滤波思想分离图像边缘；采用非极大值抑制算法找出边缘点；将较大阈值参数设置为，较小阈值参数设置为；删除梯度值小于弱边缘的像素点，划分二值化图像的强边缘和弱边缘，最终消除孤立的弱边缘。用 算子进行轮廓提取，可以对焊接接头细小毛刺、焊接微尺度的直线度变化和间隙变化量进行进一步研究与分析。公式（）为选用的 高斯滤波器，用作平滑图像，减少图像中噪声。第 期潘雪航，等：基于机器学习的超薄板焊接接头微尺度信息检测和识别（）焊接接头微尺度识别完成后，对焊接接头进行特征信息提取。计算焊接接头的间隙宽度和中心位置的偏移量，为焊接热输入的调节和焊枪对中的调节提供依据。提取结果焊接接头微尺度信息的识别是在视觉传感对焊接接头进行检测的基础上，对焊接接头图像进行聚类分割和轮廓提取。厚超薄板的无间隙对接焊接头微尺度信息的识别过程如图 所示。其中，图（）图（）、图（）图（）、图（）图 （）分别对应机器学习次数为、次时的聚类分割结果。从中可以看出，由于聚类中心位置随机，机器学习 次时聚类进化不完善，焊接接头分割较为粗糙；机器学习 次和 次时，分割出的焊接接头形态基本无差别；机器学习 次时，焊接接头图像分割的方差已满足标准测度函数收敛需求，可以进行精准的焊接接头微尺度信息识别。图（）图（）为最终获得的焊接接头轮廓，清晰地识别出接头处的细小毛刺和间隙的细微变化以及直线度的细微变化。图（）图（）是阈值为，不采用机器学习时的图像分割结果。可以看出，在焊接接头形态较为清晰（图（）图（）的情况下，可以较为准确的进行图像分割；在焊接接头图像曝光过度（图（）的情况下，则不能精确分割焊接接头边缘的细小变化，将导致焊接接头轮廓提取出现误差，影响焊接电流调节和焊缝对中调节；在焊接接头图像较暗（图（）的情况下，无法分离出焊接接头信息。基于图（）图（）的焊接接头轮廓，沿焊接方向分别提取了焊接接头的间隙宽度和中心位置的偏移量（图 中的各虚线），如图 所示。其中，左坐标为焊接接头间隙宽度的变化，右坐标为焊接接头中心位置的偏移量变化。可以看到，图（）对应的焊接接头由于毛刺的存在，不仅加大了接头间隙宽度，且中心位置向右移动了较大的偏移量，要求对焊接热输入和焊枪对中进行较大幅度的调节；图（）对应的焊接接头，无论是接头的间隙宽度，还是接头的中心位置偏移量，均有比较密集的波动，且接头的中心位置偏移量出现了尖峰，要求对焊接热输入和焊枪对中进行快速的调节；图（）、图（）、图（）所对应的接头间隙宽度变化不大，接头中心位置的偏移量变化也较为平缓，要求对焊接热输入和焊枪对中进行较平缓的小幅度调节；图（）、图（）、图（）对应的接头间隙宽度和中心位置偏移量变化不明显，则不需要调节焊接热输入和焊枪对中。图 焊接接头的识别 智 能 计 算 机 与 应 用 第 卷2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（a）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m中心位置偏移/m（e）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（b）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（f）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（c）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（g）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（d）2 2 01 7 61 3 28 84 406 0 1 2 0 1 8 0 2 4 0 3 0 0 3 6 01 890-9-1 8-2 7-3 6-4 5距原点距离/m中心位置偏移/m间隙宽度/m间隙宽度/m中心位置偏移/m（h）图 焊接接头间隙宽度和中心位置偏移 结束语基于机器学习的焊接接头分割，与传统的图像分割相比，可以不受分割阈值限制，更加精确的识别出各种情况下的焊接接头信息采用对像素点 值进行 聚类的方法分割焊接接头图像，进行一定次数的机器学习后，可以精确识别 厚对接接头的细微变化，与采用对像素点灰度值进行聚类分割相比，处理效率高。通过 算子可以对机器学习训练出的二值化图像进行轮廓提取，进一步实现对 厚对接接头的细小毛刺、间隙直线度和间隙尺寸的细微变化的分析处理。在机器学习和轮廓提取的基础上，计算出焊接接头的间隙宽度和中心位置的偏移量，以此作为精确实时调节焊接热输入和焊枪对中的依据，来有效抑制超薄板焊接的缺陷出现，提高焊接质量。参考文献 何建萍，吴鑫，吉永丰，等 超薄不锈钢板脉冲微束等离子弧焊成形机理 焊接学报，（）：，（）：杨秀烨，方金祥，何鹏 自动焊接传感技术研究现状及发展趋势 材料导报，（）：吴一全，孟天亮，吴诗婳 图像阈值分割方法研究进展 年（）数据采集与处理，（）：迟大钊，钢铁 基于二维信息熵图像分割的缺陷识别方法焊接学报，（）：，（）：杨信延，孙文娟，李明，等 基于 均值聚类和开闭交替滤波的黄瓜叶片水滴荧光图像分割 农业工程学报，（）：，（）：于鹏，杨仁刚 基于欧氏距离最佳 均值聚类的超级电容组故障在线鉴别方法 农业工程学报，（）：李正兵，罗斌，翟素兰，等 基于关联图划分的 算法 计算机工程与应用，（）：凌玉龙，张晓，李霞，等 改进 算法在学生消费画像中的应用 计算机技术与发展，（）：宋爽，任红娥，官俊 基于 梯度模板的多阈值实时边缘检测算法 计算机工程与应用，（）：，第 期潘雪航，等：基于机器学习的超薄板焊接接头微尺度信息检测和识别