基于机器视觉的圆孔类尺寸精确测量.pdf

第 61 卷 第 8 期Vol.61 No.82023 年 8 月August 2023农业装备与车辆工程AGRICULTURAL EQUIPMENT&VEHICLE ENGINEERINGdoi:10.3969/j.issn.1673-3142.2023.08.020基于机器视觉的圆孔类尺寸精确测量王若瑾，张旭（201620 上海市上海工程技术大学机械与汽车工程学院）摘要 针对工业环境下圆孔类尺寸人工检测效率低、已有非接触测量方法精度不够等问题，建立了基于机器视觉的圆孔类尺寸测量系统。首先针对传统 Canny 算法进行改进，利用引导滤波保证平滑去噪的同时保持边缘特征，设计了自适应双阈值选取算法；其次采用像元分割拟合高斯曲线的方法得到亚像素边缘定位；最后基于非迭代的代数圆拟合方法快速、准确地获得最终尺寸信息。实验证明，该方法与传统 Canny 分别和矩法、插值法结合的测量精度相比有显著提高，对于小直径样本的测量误差可控制在 0.003mm 以内。关键词 机器视觉；圆孔类尺寸；边缘检测；亚像素检测；最小二乘法 中图分类号 TG806；TP391.4 文献标志码 A 文章编号 1673-3142(2023)08-0099-06引用格式：王若瑾,张旭.基于机器视觉的圆孔类尺寸精确测量 J.农业装备与车辆工程,2023,61(8):99-104.Precision measurement of circular hole parts based on machine visionWANGRuojin,ZHANGXu（CollegeofMechanicalandAutomotiveEngineering,ShanghaiUniversityofEngineeringSciences,Shanghai201620,China)AbstractAccordingtotheproblemsoflowefficiencyandlowprecisionoftheexistingnon-contactmeasurementmethods,aholesizemeasurementsystembasedonmachinevisionwasestablished.Firstly,animprovedCannyalgorithmwasusedtosmooththenoiseandpreservetheedgefeatures,andanadaptivedouble-thresholdselectionalgorithmwasdesigned.Secondly,amethodoffittingGausscurvebypixelsegmentationwasdesignedtogetsub-pixeledgelocation.Finally,thenon-iterativealgebraiccirclefittingmethodwasusedtoobtainthefinalsizeinformationquicklyandaccurately.TheexperimentalresultsshowedthatthismethodwassuperiortothetraditionalCannymethodcombinedwithmomentmethodandinterpolationmethod,andthemeasurementerrorofsmalldiametersamplescanbecontrolledwithin0.003mm.Key wordsmachinevision;circularholesize;edgedetection;sub-pixeldetection;leastsquares0 引言随着制造业的不断发展和工业水平的提高，对于工业零件尺寸测量的精度与速度要求越来越高。以孔类尺寸为例，当前工业检测中仍然以内径百分表或千分表为主要测量方法，传统人工检测手段存在效率低、对检测人员技术水平及经验要求高等问题，基于机器视觉的测量方法正凭借其低成本、非接触、简单高效等优点逐步成为机械零件尺寸测量的革新手段。为实现高精度的工件尺寸自动化测量，传统的机器视觉尺寸测量算法主要依赖图像采集、图像预处理、边缘提取、数据拟合 4 部分，这 4 部分的共同进步推动尺寸测量算法精度的提升。在传统算法基础上，王高杰等1通过研究人工标志定位点的分布对单目相机位姿解算精度的影响，针对人工标志的布设和点位选择给出了合理的建议和指导，有助于提高相机标定的准确性，从图像采集部分减少误差，为后续图像处理打下了良好基础。图像预处理的作用在于消除图像中的无关信息，恢复有用的真实信息；王智文等2提出了一种基于多元统计模型的分形小波自适应图像去噪算法，在有效去噪的同时能够保持图像的精细结构。边缘提取作为基于机器视觉的尺寸测量算法中最为关键的部分，近年取得了长足进步；童胜杰等3提出一种基于 2阶微分算子和数学形态的改进工件边缘检测方法，在去除工件表面划痕的同时提高了边缘清晰度和峰值信噪比；李凯等4融合了各向同性和自动各向异性高斯核边缘检测方法的优势，提出了一种加入边缘强度修正因子的边缘检测算法，获得了更优的噪声鲁棒性和弱边缘检测能力。随着精度要求的提高，以上单像素边缘已经不能满足实际需求，因此收稿日期：2022-07-04100农业装备与车辆工程 2023 年边缘检测算法进一步深入到了亚像素边缘，亚像素边缘检测技术主要分为 3 类：基于矩的5-6、基于拟合7-8的和基于插值9的。其中，矩法准确性高但抗噪能力差且计算时间长；插值法的计算量相对较小，且具有较强的抗噪能力，但其定位精度较低；拟合法虽受拟合曲线限制，但具有较强的抗干扰性，定位精度也较高。数据拟合部分则影响着尺寸测量结果的直接输出，针对离群点会对拟合结果产生影响的问题，郭斯羽等10应对不同边缘点数量的实验条件分别提出了一种基于截断最小二乘法和 2 种基于双点移除法的改进椭圆拟合算法。为应用于实际测量系统，本文建立了一套结合改进 Canny 和拟合法亚像素边缘提取的圆孔类尺寸测量方法，通过对标准内径环规的内径边缘进行检测完成像素标定，再通过针对圆孔类样本的曲线边缘检测进行尺寸测量，从而实现对圆孔类尺寸的高精度测量。1 优化 Canny 的像素级边缘检测较为经典的像素级边缘检测算子大致可分为 1 阶微分算子和 2 阶微分算子。其中，1 阶微分算子（如 Roberts 算子、Sobel 算子、Prewitt 算子等）的基本原理是通过对目标微分突出其灰度值的变化，将灰度变化值较高的部分视为边缘点，计算简单快速，但同时存在检测得到的边缘较粗且容易得到虚假边缘的缺点，因此通常仅适用于精度要求较低的场景。Laplace 算子是基于 2 阶导数的边缘检测算子，不依赖边缘方向，对孤立点和阶跃型边缘点定位准确，但对噪声敏感且容易丢失边缘信息，故而通常不以其原始形式进行边缘检测。Canny 算子11一经提出便凭借其较为平衡的边缘检测与去噪效果一跃成为最受广泛应用的边缘检测算子。原始 Canny 算子的基本流程：首先采用高斯滤波对输入图片去噪，接着通过计算差分 1 阶偏导得到图像的灰度梯度的大小及方向，然后经由非极大值抑制对边缘进行细化，最后通过双阈值的设置对图像进行滞后连接，得到完整的目标图像边缘轮廓。但传统的高斯滤波存在会丢失边缘细节信息的固有弊端，而相较于同样具有边缘保持特性的双边滤波，由于引导滤波12的时间复杂度与窗口大小无关，故有计算速度更快的特点，且能够克服双边滤波可能引入“梯度反转”伪影的问题。为此，本文对传统 Canny 中的滤波部分进行改进，利用具有良好保边效果的引导滤波代替高斯滤波对图像进行去噪处理。引导滤波示意图如图 1 所示。另外，在双阈值选取部分，为实现针对不同光源、拍摄环境均能获得自适应阈值的选取，本文通过灰度迭代来获取高低阈值，即选取图像灰度均值为初始阈值，再对高于初始阈值和低于初始阈值的部分分别求取均值，对得到的 2 个均值再做平均得到新的阈值。当前后 2 次阈值差小于迭代终止条件时完成选取，否则继续迭代至获得最佳阈值。其中，迭代终止条件可根据灰度直方图中的双峰收敛情况而定，以终止条件选择灰度差大于双峰各自内部灰度上下限的宽度为宜。改进后的 Canny 边缘检测具体流程如图 2 所示。2 基于像元分割的拟合高斯曲线亚像素边缘检测边缘模型根据其灰度切面大致可分为：阶跃型、斜坡型和屋顶型133 种，而实际中由于数字图像的边缘不可避免地存在被模糊和带有噪声，故而边缘灰度切面常被视为更加接近灰度斜坡。如图3 所示，图 3（a）中的灰度值差别是受聚焦机理和电子元件影响产生的，可以看出越靠近实际边缘位置灰度变化最多；由图 3（b）可见，当灰度值差分达到最大时即为实际边缘点；图 3（c）显示灰度差分的外包络线接近高斯曲线。考虑到图片生成中存在的模糊效应及噪声中存在的主要部分为高斯噪声，因此考虑测量系统的实时性和准确性，本文选择使用高斯模型进行拟合更符合实际情况。输入图像引导滤波计算梯度获得像素级边缘双阈值选取非极大值抑制图 2 改进 Canny 滤波部分流程图Fig.2 Flow chart of improved Canny图 1 引导滤波示意图Fig.1 Schematic diagram of guided filterqi=pi-nini=noise/textureinputpoutputqguideIqa Iiidd=qi=aIi+b,covvaraII pbpaIf=+=-rrghZminaIbpa(,)a biii22f+-+_i/线性回归双边/联合双边滤波器没有此线性模式101第 61 卷第 8 期采用改进 Canny 算子得到粗提取的像素级边缘检测结果后，再利用改进 Sobel 算子的 Scharr 算子求得每个单像素边缘点处的梯度幅值及方向，Scharr 算子的 1 对卷积模板为G310300032103X=-RTSSSSSSSSVXWWWWWWWW(1)G30310010303Y=-RTSSSSSSSSVXWWWWWWWW(2)式中：GX水平方向梯度算子；GY竖直方向梯度算子。具体在运算中，表现为每个像素灰度值与卷积模板对应位置的元素进行卷积运算，得到该点处的灰度梯度大小为GGGXY22=+(3)考虑开方带来的计算复杂度，常选用式（4）代替式（3）GGGXY=+(4)则其对应的梯度方向为arctanGGXYi=bl(5)接着，在边缘法线方向上对梯度幅值进行采样。由于拟合过程本质上是使真实数据曲线与拟合函数之间误差最小化，故采样点的选取十分重要。本文选择沿着每个边缘点所在的法线方向取若干个像素点，并将这些像素点向法线投影得到采样点（为兼顾算法的准确性和实时性，本文选择提取 5 个采样点）。如图 4 中，虚线网格表示图像整像素单元，实线方框为经过改进 Canny 检测到的像素级边缘点，实线箭头所示为边缘的法线方向，A、B、C、D、E 点分别向梯度方向的投影点即为所取采样点，由于采样点不在整像素位置，故要获得采样点处的梯度幅值，需通过像元分割的方法将灰度法线方向上图像的最小单位进行细化分割，能够提高灰度图特征点的提取精度。由于双三次插值能够克服最近邻插值的不连续性与双线性插值中可能导致的细节退化等问题，为提高分割精度，本文设计使用双三次插值并借助采样点周围 16 个像素点的梯度幅值与其变化率综合计算，实现采样点梯度幅值的获取。具体来讲，用于拟合梯度曲线的高斯模型为ye21x222rv=vn-h(6)式中：均值，也即所求亚像素的位置坐标；标准差。直接对高斯函数进行拟合较为困难，不妨对式（6）两边同时取对数，将其变换为如式（7）所示形如 y=Ax2+Bx+C 的二次曲线来简化计算lnlnyxx222vn=-+h(7)其中抛物线顶点所在的横坐标值为xAB2=-(8)利用最小二乘法得到二次曲线的系数，即找到使函数均方误差最小的系数 A、B 和 C，对于拟合点坐标（xi，lnyi），均方误差表达式为lnIAxBxCyiiii2215=+-=_i/(9)3 Taubin 法拟合圆圆拟合问题根据其实际解决方案可大致分为 22468像素位置灰度值25020015010050（a）（b）2 468像素位置灰度值6040202468像素位置604020灰度值灰度值拟合曲线（c）图 3 斜坡型灰度图Fig.3 Grayscale image of slope（a）斜坡型边缘灰度图（b）斜坡型边缘灰度差分（c）灰度差分包络图 4 拟合点的选取Fig.4 Selection of fitting pointsABCDE王若瑾等：基于机器视觉的圆孔类尺寸精确测量102农业装备与车辆工程 2023 年类：（1）几何拟合：使数据点到圆的几何（正交）距离最小；（2）代数拟合：使其他代数表达式达到最小化。而由于基于几何拟合的方法通常是迭代的，且其迭代准确性受初始值的影响较大，这就导致运算时间势必较长。而代数拟合方法凭借其非迭代的特点，在检测中能够实现更好的实时性，且能够避免初值选取不当造成的拟合偏差。此外，根据 Chernov14的误差分析证明，经过仔细设计的代数拟合法（如 Taubin 算法）可以在统计学上实现和几何拟合法几乎一致的精度。因此，本文中选用Taubin 法进行圆拟合。代数法中主要是基于圆方程的代数形式A（x2+y2）+Bx+Cy+D=0(10)区别于其他代数方法，Taubin 法对该方程设置的约束条件为A ZaABxACyBC441222+=rrr(11)式中：Znxy1iini22=+r/；xnx1iin=r/；yny1iin=r/。故有 Taubin 法的能量函数为,F A B C DAzBxCyDiiiin12=+=h7A/(12)使能量函数最小化即可得到的最优解，本文中采用 Levenberg-Marquardt 法进行最优化求解。最后，通过圆方程的几何参数与代数参数的转换：aAB2=-，bAC2=-,RABCAD2422=+-，即可求得拟合圆的圆心和半径。4 实验结果与分析4.1 实验环境本文的边缘尺寸测量系统实验是在 MATLABR2019a 环境下实现的。借助 MATLAB 实现仿真图片的生成，真实图像则通过搭建机器视觉采集系统完成采集。本文搭建的采集系统由光学平台、支架、背光板、CMOS 工业相机、计算机等组成，如图 5所示。其中，相机选用大恒 ME2P-1840-6GC-P 工业相机，分辨率为 45084096，像元尺寸 2.5m，帧率为 6.4。镜头配备大恒 HN-1624-20M-C1/1X，焦距为 16mm，畸变0.1%。4.2 实验测量与分析由 MATLAB 合成的仿真圆孔型零件图如图 6所示。图 6 表示了不同半径的圆（圆内强度为 0，圆外强度为255），分别对其添加标准差为0.010.1共 10 个不同程度的高斯白噪声，检测不同半径、不同噪声条件下的圆心位置和半径。图 7 和图 8 为仿真圆孔型零件在不同半径和噪声条件下不同方法检测误差对比。可以看出，传统 Canny 在与 Zernike 矩结合进行测量时，针对较小内径的圆测量表现较差，在半径 50 像素的圆测量中误差可达 0.27 个像素，而与插值法结合则在圆心位置检测的准确度上明显劣于其他方法。利用本文提出的检测方法，对仿真图像的圆孔半径检测误差基本控制在 0.01 个像素之内，而对圆心的定位检测在准确度和稳定性上均优于其他 2 种方法。计算机支架相机背光板光学平台图 5 测量平台Fig.5 Measurement platform（b）图 6 仿真孔型图Fig.6 Simulated hole diagram（a）无噪声（b）添加标准差为 0.1 的高斯白噪声（a）020406080100噪声/%误差/像素0.350.300.250.200.150.100.050.00插值Zernike本文（a）（b）误差/像素插值Zernike本文0.240.220.200.180.160.140.120.100.080.060.040.020.00-0.02-0.04020406080100噪声/%103第 61 卷第 8 期在对实际图像进行尺寸测量前，需要对当前视觉系统进行标定，找到像素与实际尺寸之间的转换关系，即确定标定系数 q=。本文选择在背光环境下对内径环规进行尺寸测量，得到标定系数 q，即 1 像素对于实际尺寸的定标结果。分别以圆形标定板和内径环规等作为不同大小的圆形样本，模拟孔类尺寸的测量，得到实际尺寸与误差，实验结果如表 1 所示。表 1 部分圆孔样本检测结果Tab.1 Detection results of part of the hole samples样本序号真实值/mm本文方法Canny+ZernikeCanny+插值误差/mm相对误差/%误差/mm相对误差/%误差/mm相对误差/%17.500.00050.0070.00940.1340.00770.10327.500.00280.0370.00830.1110.01040.13937.500.00150.0200.01100.1470.01380.18447.500.00250.0330.00650.0870.00400.05357.500.00270.0360.00830.1110.00330.04467.500.00300.0400.00400.0530.01140.15277.500.00190.0250.00520.0690.00710.09587.500.00220.0290.00640.0850.01010.135912.000.00500.0420.00810.0680.01240.1031012.000.00770.0640.00830.0690.00960.0801112.000.01190.0990.02440.2030.01480.1231212.000.01300.1100.01160.0970.02110.1761312.000.01040.0870.01430.1190.02050.1711412.000.00680.0570.01120.0930.01980.1651512.000.00850.0710.01310.1090.01010.0841612.000.00830.0700.00840.0700.01460.1221740.000.02840.0710.02980.0750.06430.1611840.000.01800.0450.02100.0530.02710.0681940.000.04900.1230.05000.1250.08850.2212040.000.00150.0040.00520.0130.03810.095像素数实际尺寸(mm)（c）（d）图 7 不同方法对圆孔半径的检测误差比较Fig.7 Comparison of positioning errors of hole detection with various methods（a）R50（b）R100（c）R150（d）R200误差/像素插值Zernike本文0.160.140.120.100.080.060.040.020.00-0.02020406080100噪声/%误差/像素0.100.090.080.070.060.050.040.030.020.010.00-0.01020406080100噪声/%插值Zernike本文（d）图 8 不同方法对于孔圆心定位误差的比较Fig.8 Comparison of positioning errors of hole center detection with various methods（a）R50（b）R100（c）R150（d）R200定位误差/像素0.0300.0250.0200.0150.0100.0050.000-0.005插值Zernike本文020406080100噪声/%定位误差/像素0.0400.0350.0300.0250.0200.0150.0100.0050.000-0.005-0.010插值Zernike本文020406080100噪声/%（c）（a）定位误差/像素0.090.080.070.060.050.040.030.020.010.00-0.01插值Zernike本文020406080100噪声/%定位误差/像素0.060.050.040.030.020.010.00-0.01插值Zernike本文020406080100噪声/%（b）王若瑾等：基于机器视觉的圆孔类尺寸精确测量104农业装备与车辆工程 2023 年实验结果表明，本文方法对于直径 7.5mm 的圆孔类样本测量误差在 0.003mm 以内，平均相对误差为 0.028%，对于直径 12mm 的孔类样本测量误差在 0.015mm 以内，平均相对误差为 0.075%，而对较大尺寸孔径如 40mm 的样本测量误差则控制在 0.05mm 以内，平均相对误差为 0.080%。由表 1 可以看出，本文提出的测量方法在小直径样本尺寸测量上相较于传统 Canny 与亚像素边缘检测结合的测量方法精度有显著提升，随着样本尺寸增大，精度差距有所降低，但仍存在一定优势。由此可见，本文提出的测量系统可以实现针对圆孔类尺寸的高精度测量。5 结论为了适应工业环境，本文设计了一套基于机器视觉的圆孔类尺寸精确测量方法，既保证了测量精度，又避免了人工检测精度低、效率低、易损伤加工表面等传统检测方法的固有缺点。实验结果显示，本文提出的测量方法相较于传统 Canny 与亚像素边缘检测结合的测量方法实现了更高的检测精度与更好的稳定性。在仿真图片中，误差小于 0.01个像素；对不同尺寸的样本真实图片平均相对误差小于 0.080%；在小直径样本中表现最优，孔径误差在 0.003mm 以内；由于较大孔径的样本受镜头畸变影响更大，故测量误差相对较大，最大相对误差为 0.123%。该系统目前仅对背光环境下的圆孔类尺寸适用性最佳，如何克服不同光照方向导致的表面纹理和污染等噪声对测量带来的影响仍需进一步研究和完善。另一方面，对于相机镜头畸变的矫正问题也是下一步研究中需要考虑的问题。在接下来的研究中将着重改进上述问题，并对测量系统的适用性和鲁棒性加以改进和提高。参考文献1 王高杰,郝向阳,欧阳文,等.定位点分布对相机位姿解算精度影响分析 J.导航定位学报,2020,8(06):21-28,70.2 王智文,李绍滋.基于多元统计模型的分形小波自适应图像去噪 J.计算机学报,2014,37(06):1380-1389.3 童胜杰,江明,焦传佳.一种改进工件边缘检测方法的研究 J.电子测量与仪器学报,2021,35(01):128-134.4 李凯,张永生,童晓冲，等.基于各向异性和边缘强度修正因子的边缘检测算法 J.计算机工程与科学,2021,43(07):1256-1263.5TABATABAIAJ,MITCHELLOR.EdgelocationtosubpixelvaluesindigitalimageryJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,1984,6(2):188-201.6 LYVERSEP,MITCHELLOR.Subpixelmeasurementsusingamoment-basededgeoperatorJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,1989,11(12):1293-1309.7 贺忠海,王宝光,廖怡白等.利用曲线拟合方法的亚像素提取算法 J.仪器仪表学报,2003(02):195-197.8 苏翼雄,贺忠海,徐可欣等.利用二次曲线拟合的 CCD 图像亚像素提取算法 J.计量技术,2003(07):3-4,7.9 OVERINGTONI,GREENWAYP.Practicalfirst-differenceedgedetectionwithsubpixelaccuracyJ.ImageandVisionComputing,1987,5(3):217-224.10郭斯羽,吴延冬.去除离群点的改进椭圆拟合算法 J.计算机科学,2022,49(04):188-194.11CANNYJ.AcomputationalapproachtoedgedetectionJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,1986,8(6):679-98.12HEKaiming,SUNJian,TANGXiaoou.GuidedimagefilteringJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(6):1397-409.13GONZALEZRC.DigitalimageprocessingM.PearsoneducationIndia,2009:722-725.14CHERNOVN.Circularandlinearregression:FittingcirclesandlinesbyleastsquaresM.CRCPress,2010:171-190.作者简介 王若瑾（1996-），女，硕士研究生，研究方向：图像处理、机器视觉。E-mail：通信作者 张旭（1978-），女，教授，研究方向：图像识别与智能检测、数字化仿真与智能加工。E-mail：