受基板颜色干扰的SOT-23贴片元件定位方法的改进.pdf

五邑大学学报（自然科学版）JOURNAL OF WUYI UNIVERSITY （Natural Science Edition）第 37 卷 第 3 期 2023 年 8 月 Vol.37 No.3 Aug.2023 文章编号：1006-7302（2023）03-0051-06 受基板颜色干扰的 SOT-23 贴片元件 定位方法的改进 吴卫东1，罗兵1，廖红俊2（1.五邑大学 智能制造学部，广东 江门 529020；2.东莞市神州视觉科技有限公司，广东 东莞 523127）摘要：在黑色 PCB 基板上，SOT-23 元器件的本体与其颜色相近，传统的基于边缘查找、图像分割的引脚质心法存在定位精度低、易受基板丝印线和相邻元件干扰等问题.为解决这些问题，本文结合贴片安装元件引脚和焊点的关系对引脚质心法进行改进.首先提取焊点轮廓，然后根据焊点与元器件引脚、本体的几何关系定位元器件的偏转角，由引脚位置拟合求元器件的质心，定位元器件的XY位置.实验结果表明：本文提出的改进算法与引脚质心法相比，元器件偏转角的平均定位精度提高 0.48，元器件中心位置的平均定位精度提高 2.38 个像素.改进方法可以用于 SOT-23 元器件的定位检测，具有一定的工程应用价值.关键词：PCB 基板；图像分割；引脚质心法；偏转角定位；缺陷检测 中图分类号：TP391.41；TN41 文献标志码：A Improvement of the Location Method for SOT-23 Patch Element Interfered by Substrate Colors WU Wei-dong1,LUO Bing1,LIAO Hong-jun2(1.Faculty of Intelligent Manufacturing,Wuyi University,Jiangmen 529020,China;2.Shenzhou Vision Technology Co Ltd,Dongguan 523127,China)Abstract:Abstract:On black PCB substrates,the body of SOT-23 components is similar to their color.The traditional pin centroid method based on edge search and image segmentation has the problems of low positioning accuracy,being prone to interference from substrate screen printing lines and adjacent components.In this study,the pin centroid method was improved based on the relationship between the pin and the solder joint of patch mounting elements.Firstly,the solder joint contour was extracted,and then the deflection angle of the components was located based on the geometric relationship between the solder joint,the component pins and the body.The centroid of the components was calculated by fitting the pin position to locate the XY position of the components.The experimental results show that compared with the pin centroid method,the improved algorithm proposed in this article has an average positioning accuracy improvement of 0.48 for component deflection angle and 2.38 pixels for component center position.The improved method can be used to detect welding defect 收稿日期：2022-11-12 基金项目：江门市科技计划项目（2020030103000008537）.作者简介：吴卫东（1989），男，河南周口人，在读硕士生，研究方向为机器视觉技术；罗兵，教授，博士，硕士生导师，通信作者，主要从事机器视觉、人工智能的研究.五邑大学学报（自然科学版）2023 年 52 of SOT-23 components,and has certain engineering application value.Key words:Key words:PCB substrates;Image segmentation;Pin centroid method;Deflection angle positioning;Defect detection 机器视觉对电路板贴片安装质量检测时，视觉图像中元器件的定位检测是一项很重要的内容.传统的定位方法有：模板匹配法1、区域生长分割法2、边缘查找本体轮廓最小外包矩形法3和引脚质心法4-5等.但 PCB 电路板基板颜色多样，部分电路板的基板颜色与元器件本体颜色近似而影响图像分割或边缘查找，传统的模板匹配法受基板颜色的影响会难以完成定位或定位精度很低.引脚质心法是基于元器件引脚进行检测，受基板颜色、丝印框的干扰小，该方法解决 SOT、SOP 类元器件定位问题效果较好4-5.但是 SOT-23 类元器件每排最多 2 个引脚，直线拟合精度较低.另一方面，贴片安装回流焊后，引脚足部被焊膏覆盖，引脚根部也易被丝印线和邻近器件图像影响，从而影响引脚轮廓提取的精度.为解决上述问题，本文对引脚质心法进行改进，可以更好地对 SOT-23 贴片元件进行定位，以期进一步提高 SOT-23 贴片元件的定位效果.1 SOT-23 元件的定位方法 贴片元件型号多样，如电阻、电容、IC 等，由于三极管贴片元件 SOT-23 的典型性，以其为例进行定位研究.SOT-23 类元器件每排最多 2 个引脚，直线拟合精度较低.图 1 为 SOT-23 元件的俯视图和立体图.本文通过两个方面对引脚质心法进行改进：一是借助焊点区域可靠地找到引脚根部区域；另外是通过对引脚根部区域的灰度统计特征拟合直线确定元器件的偏转和定位.该方法在基板背景干扰、基板丝印线干扰及邻近元器件的干扰之下依然有很强的鲁棒性与适应性.步骤如下：首先通过轮廓检测获取元器件焊点；然后通过炫彩度量值与元器件 3 个焊点的几何关系剔除邻近元器件的干扰焊点，通过这两个步骤确定目标元器件的引脚根部区域；最后通过两个引脚根部区域的灰度统计检测进行定位.2 元器件图像预处理 首先对采集的原图进行中值滤波去噪、二值化处理，然后采用 SuzuKi 提出的轮廓提取算法获取元器件图像的轮廓6.该算法通过扫描图像获边缘点并判断该边缘点的类型，在该边缘点的连通域中寻找下一个边缘点，通过对不同的边缘进行编码来确定边缘的层次关系.该算法对二值图轮廓提取后效果如图 2 所示.足部 根部 a.SOT-23 元件的俯视图 b.SOT-23 元件立体图 图 1 SOT-23 元器件俯视图与立体图 第 37 卷 第 3 期 53 吴卫东等：受基板颜色干扰的 SOT-23 贴片元件定位方法的改进 在轮廓检测过程中，总会存在各种干扰轮廓.如图 2-b 中轮廓检测后图像存在多种干扰轮廓：目标焊点轮廓内的子轮廓、邻近元器件的焊点轮廓、基板上丝印字符的轮廓.由于部分干扰轮廓的周长与目标焊点接近，仅通过周长阈值无法去除干扰轮廓.由于焊点在立体塔式 RGB 光源下呈现特殊的颜色和纹理特征7，故焊点轮廓的炫彩度量值较大8，用周长阈值与炫彩度阈值结合可以去除干扰轮廓，这里设置炫彩度阈值为 92.图 3 为部分干扰轮廓去除后的图像.去除干扰轮廓后，剩余轮廓为焊点轮廓.而邻近的焊点轮廓与目标轮廓的颜色、纹理、形状、尺寸、炫彩度量值等特征一致，通过这些特征无法去除邻近焊点轮廓.从位置关系可以处理去除.分析元器件结构特征可知：1）3 个焊点的质心的连线构成三角形；2）该三角形为锐角三角形；3）其中有两条边的长度相差不大.设三角形三边为,a b c，其大小通过焊点轮廓质心之间的欧式距离计算.d为阈值，这里设置为 5.它们满足以下条件：,abc acb bca，（1）222222222,abcacb bca，（2）abd或acd或bcd.（3）通过以上 3 个约束条件可以确定目标元器件的焊点轮廓，如图 4 所示，焊点质心连线构成近似等腰三角形.邻近的另外轮廓将作为其他焊点轮廓而去除.a.贴片 SOT-23 图像 b.轮廓检测后图像 图 2 元器件轮廓检测示意图 图 3 部分干扰轮廓去除后图像 图 4 干扰轮廓去除后图像 3 偏转角初定位 设 3 个焊点的中心坐标分别为11(,)A x cyc，22(,)B x cyc，33(,)Cx cyc，元器件中心坐标为(,)cx cy，则 1233cxcxcxcx，（4）1233cycycycy.（5）五邑大学学报（自然科学版）2023 年 54 初 定 位 偏 转 角计 算 公 式 如 下：3arcta(nacy 232/()cycxcx，若320cycy，则表明偏移角度为 0；若320cxcx，则表明元器件的偏移角为 90，然后以(,)cx cy 为中心构建旋转变换矩阵如式（6）.cossin(1 cos)sinsincos(1 cos)sinaacxacyaaacyacxaM.（6）将该矩阵应用于原图进行旋转变换，可以实现对图像的旋转，旋转后图像如图 5 所示.4 准确定位 焊点中心所在直线的偏转角就是元器件的实际偏转角度，由于贴片三极管每排最多有两个焊点，焊点形态也变化多样9，若仅以两个焊点所在直线计算偏转角度会有较大误差.由 SOT-23 元件引脚与本体的位置关系可知：引脚包含根部与足部，回流焊后引脚足部被焊锡覆盖而引脚根部不受此影响，引脚根部区域的边缘不全面不清晰而且对噪声敏感，传统的边缘检测算法不能很好的检测出边缘信息10.为减小误差，提高检测精度，在原初定位偏转角度的基础上对引脚根部进行准确定位.原图像旋转后焊点的质心坐标分别为11(,)hx hy，22(,)hx hy，33(,)hx hy.然后对轮廓进行矩形拟合，求出每个轮廓外接矩形的 4 个顶点坐标，顶点坐标如表 1所示.最后获取元器件本体边缘外的 ROI（Region of Interest，感兴趣区域），轮廓拟合后根据焊点的坐标得到本体上、下两个边缘的 ROI 如图 6 所示.矩形区域参数如表 2 所示.遍历 ROI 的行像素，由每列像素的灰度值构成的曲线如图 7 所示.由于元器件的引脚的根部是金属部件，回流焊后此部分未被焊锡覆盖且没有发生形变，若元器件偏转角度接近于 0，则两个引脚根部共线.对于 ROI2 而言，若初定位的偏移角度与实际的偏移角度相差不大，则列像素的灰度值的最大值比较集中；而 ROI1 此特性不明显.定义 ROI2 的每列像素灰度值的最大值为111222(,),(,),(,)nnnx yxyCCxCy，12,nxxSx，12nxxxEn，其中S为iC 对应的横坐标的集合，E为其均值，2i()xEn.具体校正定位的步骤为：1）以初定位偏转角度对原图旋转，然后再以校正定位角度再次旋转，角度范围为2 表 1 焊点外接矩形参数 参数 焊点 1 焊点 2 焊点 3 宽 1w 2w 3w 高 1h 2h 3h 左上角坐标 11(,)a b 11(,)c d 11(,)ef 左下角坐标 22(,)a b 22(,)c d 22(,)ef 右下角坐标 33(,)a b 33(,)c d 33(,)ef 右上角坐标 44(,)a b 44(,)c d 44(,)ef 表 2 ROI 参数 参数 ROI1 ROI2 左上角坐标 12(,)c b 11(,)c dk 右下角坐标 32(,)e bk 31(,)e d 宽 31()ec 31()ec 高 k k 图 5 根据初定位偏转角度旋转后图像 图 6 SOT-23 引脚的 ROI 区域 第 37 卷 第 3 期 55 吴卫东等：受基板颜色干扰的 SOT-23 贴片元件定位方法的改进 2，初始角度为2，角度步长0.1s，则有2,(1,2,)k s kn ，根据表 1 焊点外接矩形参数确定 ROI2 的矩形区域；2）遍历 ROI2 列像素，求出每列像素灰度值最大值，且最大值满足条件iCT，（T为阈值）；3）ROI 所有像素灰度值最大值的横坐标构成集合S，并计算；4）判断，若2，则1kk，并返回到步骤 1；否则，进入步骤 5；5）求出的最小值，当为最小值时，对应的校正角度为最佳偏转角度，此时 ROI2 列像素灰度曲值曲线如图 8 所示.SOT-23 的偏转定位确定并对图像旋转校正后，对元器件引脚根部的两个 ROI 区域的图像像素点分别求垂直各列和水平各行的灰度和，水平行和的两个峰值和垂直列和的三个峰值即三个引脚根部的位置：1cx、2cx、3cx、1cy、2cy、3cy，不过23cycy.按照式（4）和（5）可以计算得到元器件的水平和垂直位置定位.5 实验及结果分析 利用本文算法对不同基板颜色的 SOT-23 元件进行定位检测实验，并与传统的引脚质心法进行对比.首先定位 PCB 的 MARK 点，然后根据图像定位 SOT-23 贴片元件的水平位置、垂直位置.偏转角度定位则直接对元器件图像进行处理、定位.实验图片为 AOI 在生产流水线上采集所得，镜头分辨率：10 m/pixel，FOV：40.00 mm 30.00 mm，光源采用复合塔状 LED 同轴光源.偏转定位采用仿真实验，对实际采集的器件无偏转图像，先旋转指定角度后进行偏转定位测试.0.9 0.8 0.7 0.6 0.5 0.4 目标函数/2-2.0-1.6-1.2-0.8-0.4 0.0 0.4 0.8 1.2 1.6 2.0 校正角度/（）200 150 100 50 灰度值 0 10 20 30 40 50 行像素/pixel a.最佳偏转角校正角度曲线 b.ROI2 列像素灰度值曲线 图 8 最佳偏转角度校正角度 225 200 175 150 125 100 75 50 灰度值 0 5 10 15 20 25 30 行像素/pixel 200 150 100 50 灰度值 0 4 8 12 16 20 24 28 32 行像素/pixel a.ROI1 列像素灰度值曲线 b.ROI2 列像素灰度值曲线 图 7 ROI 列像素灰度值曲线图 五邑大学学报（自然科学版）2023 年 56 XY 的准确定位数据采用对同一元器件加上低光照角度红色光源，突出元器件边缘来进行准确定位.对 10 个不同位置的 SOT-23 元器件的定位检测结果如表 3 和表 4 所示.表 3 两种方法偏转角度定位实验结果 单位：（）元器件编号 实际偏转角度 引脚质心法结果 本文算法结果 引脚质心法误差 本文算法误差 1-5.6-6.4-6.1 0.8 0.5 2-4.2-7.5-5.7 3.3 1.5 3-1.9-3.1-2.7 1.2 0.8 4-5.8-6.4-5.5 0.6 0.3 5-2.3-2.9-1.9 0.6 0.4 6-6.7-5.1-6.2 1.6 0.5 7-6.5-6.6-6.5 0.1 0.0 8-3.3-3.8-3.6 0.5 0.3 9-4.7-4.5-4.7 0.2 0.0 10-1.4-0.4-0.6 1.0 0.8 表 4 两种方法元器件中心定位实验结果 单位：像素 实验结果表明：在黑色基板下对 SOT-23 贴片元件定位，本文提出的改进算法对偏转角度的检测比传统的引脚质心法平均提高精度0.48，对元器件中心位置定位精度平均提高 2.38 个像素.6 结论 本文结合 SOT-23 贴片元件的引脚形状特点，对引脚质心法进行了定位方法改进.仿真实验结果表明：本文提出的改进方法提高了黑色 PCB 背景下元器件的定位精度，并有很好的算法稳定性.由于本文研究对象是 SOT-23 型号元件，结构简单，引脚数目较少，这也限制了该算法的适应性，后续会针对 SOT 系列的多引脚的元件继续研究，提高该算法的泛化能力和鲁棒性.参考文献 1 冯开勇，李飞.柔性印刷线路板 LED 的多模板匹配定位方法研究J.电子世界，2019(2):71-72.2 劼刘志维，叶峰，董志，等.运用区域生长法的贴片元件定位识别算法研究J.现代制造工程，2013(5):99-102.（下转第 72 页）元器件编号 实际坐标 引脚质心法结果 本文算法结果 引脚质心法 X 误差 本文算法 X 误差 1(219.3,277.5)(213.8,273.3)(217.9,275.3)5.5 1.8 2(226.3,281.4)(220.2,283.6)(223.6,284.3)6.1 2.7 3(193.1,237.8)(195.6,235.5)(192.3,238.2)2.5 0.8 4(246.0,299.2)(240.3,295.7)(241.4,295.5)5.7 4.6 5(174.3,228.2)(169.4,223.1)(171.0,226.0)4.9 3.3 6(223.5,230.6)(227.7,235.3)(224.3,233.0)4.2 0.8 7(200.7,169.1)(202.9,165.7)(198.8,165.6)2.2 1.9 8(163.4,172.3)(168.3,177.9)(162.2,178.3)4.9 1.2 9(134.2,124.0)(132.1,125.5)(134.3,123.8)2.1 0.1 10(147.5,157.3)(143.6,160.0)(146.5,157.4)3.9 1.0 五邑大学学报（自然科学版）2023 年 72 4 结论 本文提出了两种不同位置的发动机补气技术（压气机后和进气歧管内），试验进行节气门开度20%、40%和 100%3 种工况下，不同位置处补气对发动机性能的扭矩和燃油消耗率的影响.压气机后或进气歧管补气均可以增加发动机输出有效转矩，且发动机燃油消耗率呈现增加趋势.另外，压气机后或进气歧管补气均使发动机爆震强度增加，因此为了抑制爆震，发动机点火角普遍推迟.不同工作负荷下，补气对发动机输出转矩影响不同，随着节气门开度增加，补气对发动机转矩增加呈现减小趋势.本文研究结果给出了补气技术对增压发动机性能的影响趋势，为发动机小型化开发提供了可靠的基础数据，研究结果具有一定的工程指导意义.参考文献 1 代志尧，洪伟，韩林沛，等M15 对增压直喷汽油机小负荷工况下燃烧和性能的影响J.科学技术与工程，2016,16(13):201-206.2 徐成耀，路平，宫向.等.柴油机压缩空气补气系统的车载实验研究J.内燃机与动力装置，2011(6):33-36.3 张孔明，梁世希，金则兵，等.某 LNG 发动机进气补气对缸内过程的影响J.内燃机工程，2017,38(1):81-87.4 马为，王春龙，张恩源，等.可变进气滚流技术对增压直喷发动机油耗及排放影响的研究J.汽车工程，2017,39(10):1114-1118.5 闫伟，李国祥，徐秀兰.车用汽油机电控补气装置试验分析J.内燃机工程，2003(1):10-125.责任编辑：韦 韬 （上接第56页）3 史志贺，戴国洪，周自强.基于图像的废电路板高值元器件识别定位方法J.常州工学院学报，2021,34(1):27-30.4 林德育，肖曙红，麦智伟.基于最小外接矩形的 SOP 贴片元件的定位识别J.现代制造工程，2017(9):133-138.5 余松乐，肖曙红.基于机器视觉的 SOP 贴片元件的定位检测方法研究J.机床与液压，2020,48(7):29-33.6 SUZUKI S.Topological structural analysis of digitized binary images by border following J.Computer Vision,Graphics,and Image Processing,1985,30(1):32-46.7 殷政.基于深度学习的 IC 引脚焊接缺陷自动检测技术研究D.江门：五邑大学，2019.8 HASLER D,SUESSTRUNK S E.Measuring colorfulness in natural images C/Human Vision and Electronic Imaging VIII.Santa Clara:SPIE,2003:87-95.9 谢非，吴茜，杨建飞，等.一种基于色彩特征模型的集成电路板多形态焊点定位方法：CN106780426A P.2017-05-31.10 张晨阳，曹艳华，杨晓忠.一种基于改进 Canny 算法的图像边缘检测新方法J/OL.计算机仿真.2022-11-09.http:/ 韬