激光条纹亚像素中心精确提取方法_张伟康.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20221021基金项目:国家自然科学基金面上项目(No:62075199)作者简介:张伟康(1998)，男，硕士研究生，主要研究方向:图像处理，嵌入式机器视觉方面。Email:272057934 qq com通讯作者:甄国涌，男，教授，硕士生导师，主要从事应用软件开发、机器视觉方面的研究。Email:zhenguoyong nuc edu cn激光条纹亚像素中心精确提取方法张伟康，甄国涌，单彦虎，储成群中北大学仪器与电子学院，太原030051摘要:利用激光三角法对工件进行三维测量时，激光条纹中心位置的提取是实现高精度测量的重要因素之一。为了能够更好地取投射在工件形状突变处的激光条纹信息，通过改进最大类间方差法在激光条纹图像中选取多阈值以实现二值化分割。所提算法基于最小二乘法获取激光条纹骨架上的法向，避免了大量卷积计算，从而提高运行速度，最后在其法向上利用灰度重心法得到激光条纹中心的亚像素坐标点。实验结果表明:该算法在激光条纹中心提取过程中，相较于经典的 Steger 算法，在运行速度上提高近 6 倍，分辨率上提高近16%，在工业上适用于在线精确测量。关键词:三维扫描;中心提取;Otsu;骨架细化;灰度重心中图分类号:TP391文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.075An accurate extraction method for subpixel center of laser fringeZHANG Weikang，ZHEN Guoyong，SHAN Yanhu，CHU ChengqunSchool of Instrument and Electronics，North University of China，Taiyuan 030051，ChinaAbstract:When the laser triangulation method is used for threedimensional measurement of workpiece，the ex-traction of the center position of laser stripe is one of the important factors to realize highprecision measurement Inorder to better extract the laser stripe information projected at the sudden change of workpiece shape，multi threshold isselected in the laser stripe image by improving the maximum interclass variance method to realize binary segmentationThe proposed algorithm obtains the normal direction of the laser stripe skeleton based on the least square method，a-voids a large number of convolution calculations，and improves the running speed Finally，the subpixel coordinatesof the center of the laser stripe are obtained by using the gray center of gravity method in its normal direction The ex-perimental results show that in the process of laser fringe center extraction，compared with the classical Steger algo-rithm，the running speed of the algorithm is improved by nearly 6 times and the resolution is improved by nearly 16%It is suitable for online accurate measurement in industryKey words:three dimension scanning;center extraction;Otsu;skeleton thinning;gray center of gravity1引言随着工业自动化的发展，非接触性的光学三维测量技术被广泛应用在三维重建、三维测量、三维视觉表面的缺陷检测等领域1。光学三维测量技术基于激光三角法原理，由线激光器和 CMOS 相机组成三角测量结构。在激光三角测量原理中，首先将线激光器的光束按一定角度照射在待测工件表面上，再由相机拍摄工件上的激光条纹，最后结合相机与线激光器的位置关系，则可以求出待测工件的三维坐标2。在实际测量时，相机拍摄的激光条纹会在图像中占有一定的像素宽度，当测量环境的光线发生变化，或被测物体表面反射率和纹理复杂程度存在差异时，导致激光条纹中心位置的提取变得更加困难，因此，能够快速、准确提取出激光条纹中心是实现三维测量的关键。http /www laserjournal cn目前，在激光条纹中心提取的过程中，国内外学者提出了很多相关的方法，如基于激光条纹几何特征的几何中心法3、骨架法等，基于激光条纹灰度分布的极值法、灰度重心法45、曲线拟合法67、脊线跟踪法、steger 法等，都可以快速、简单地实现激光条纹中心的提取，但是在精度和鲁棒性上都达不到工业测量的标准。近些年来，也有许多学者对传统算法进行改进。胡斌等8 基于重心法的思想，采用可变方向模板进行检测激光条纹中心，有一定的抗噪声能力，但是存在计算量过大和鲁棒性较差的问题。Steger等910 基于 Hessian 矩阵计算激光条纹各点的法向，然后在其法向上利用激光条纹的灰度分布函数获取激光条纹的亚像素中心位置，该算法有较高的精度和较好的鲁棒性，但是其利用高斯核模板卷积，导致计算量加大，运行效率低下。李丹等11 基于极值法和灰度重心法能够快速提取激光条纹中心，但是受噪声影响较大，且无法处理激光条纹形状较为复杂的图像。为进一步解决上述问题，通过改进最大类间方差法在激光条纹图像中选取多阈值以实现二值化分割，从而更好地提取投射在工件形状突变处的激光条纹信息，并基于最小二乘法计算得到激光条纹骨架上的法向，从而避免大量卷积计算，提高运行速度，最后利用灰度重心法在其法向上得到激光条纹的亚像素中心。与许多算法相比，该算法有较高的提取精度和较好的鲁棒性，同时可以满足工业测量的实时性。2算法描述所提算法具体流程如图 1 所示，首先对采集到的激光条纹图像使用双边滤波消除噪声的影响，同时还可以在一定程度上保留激光条纹边缘处的细节;然后通过截取激光条纹的最小外接矩阵提取感兴趣区域(OI)，以减少后续处理的计算量;其次利用改进型多阈值最大类间方差法得到更为连续的二值条纹图像;再利用 ZhangSuen 细化算法提取激光条纹的骨架，以获得激光条纹中心的初值;最后基于最小二乘法获取骨架点的法向;并在法向上利用灰度重心法提取激光条纹的亚像素中心。2.1双边滤波双边滤波通过计算图像空间邻近度和像素值相似度两方面的权重实现对图像滤波的效果。该滤波方式既可兼顾图像的空域信息，又可兼顾图像的灰度相似性1213。在激光条纹中心提取过程中，由于测量环境的光线变化或工件表面反射程度的不同等因素，导致激光条纹图像上常伴随有随机噪声，影响激光条纹中心的提取。为此采用双边滤波对激光条纹图像进行预处理，可以在充分保护激光条纹边缘信息前提下，达到平滑去噪的效果。图 1算法流程图2.2OI 区域裁剪在实验环境下，采集到的激光条纹图像如图 2 所示。通过分析图 3 中激光条纹的纵向截面灰度分布，可发现激光器照射在工件上的激光条纹线宽为 10 个像素左右，且存在灰度分布不均匀、不对称等问题，这些因素都会影响激光条纹中心提取的精度。另外在提取激光条纹中心线时，需要对图像中的像素逐列处理，为减少计算量和加快运行速度，需要裁剪出激光条纹图像中的感兴趣区域。为此通过截取激光条纹的最小外接矩形，并在该矩形的上下两侧各增加 30 个像素，作为后续处理的感兴趣区域。图 2激光条纹图像67张伟康，等:激光条纹亚像素中心精确提取方法http /www laserjournal cn图 3激光条纹纵向截面灰度分布图2.3改进型多阈值最大类间方差法最大类间方差法(Otsu 法)，是对图像进行二值化分割时的一种阈值选取算法。该算法根据图像的双模直方图计算前景与背景之间的类间方差，类间方差越大，图像二值化分割效果越好。在三维测量时，由于工件形状各异，采用传统的全局阈值对激光条纹图像进行二值化分割时，会导致激光条纹分段过多，丢失条纹细节处的信息。针对工件上激光条纹特征，采用改进的多阈值最大类间方差法进行二值化分割。该算法对激光条纹中的每一列像素使用最大类间方差法计算得到二值化分割的最佳阈值，然后利用得到的每个阈值对激光条纹逐列分割，从而使投射在工件形状突变处的激光条纹得以较好的保留。设激光条纹图像中某列像素个数为 M，像素灰度值范围为 0，L1，记 ni为灰度值为 i 的像素点个数，则灰度值为 i 的像素点出现的概率为 pi=ni/M。假设灰度值 t 为图像中某列像素分割的阈值，则该列像素中灰度值大于 t 的为前景色，灰度值范围为 t+1，L1;灰度值小于 t 的为背景色，灰度值范围为 0，t。若分别用 P0(t)和 P1(t)表示背景色和前景色像素出现的概率，用 u0(t)，u1(t)表示背景色和前景色像素的平均灰度级，则有P0(t)=ti=0pi(1)P1(t)=L1i=i+1pi=1 P0(t)(2)u0(t)=ti=0ipiP0(t)(3)u1(t)=L1i=i+1ipiP1(t)(4)u(t)=L1i=0ipi(5)由此可得，某列像素的类间方差 b(t)为b(t)=P0(t)u0(t)u(t)2+P1(t)u1(t)u(t)2(6)当 b(t)最大时，则将该灰度值作为某列像素二值化分割时的最优阈值 T，即:T=argmax0tL1 b(t)。2.4提取激光条纹骨架图像的细化是在保持原图像拓扑结构的情况下，基于数学形态学寻找目标图像的骨架和中轴线，再用单像素骨架代替初始图像。它可以在尽可能保持原图像拓扑结构的前提下，减少图像中的冗余信息，从而达到快速提取特征的目的。通过多阈值最大类间方差法分割得到更为连续的激光条纹二值图像后，采用经典的 ZhangSuen 快速并行细化算法15 提取激光条纹的骨架。该算法在激光条纹中心骨架提取的过程中可以较好地保留直线与拐角处的条纹特征，并且由于该算法迭代次数少，可加快运行速度。图 4八邻域示意图如图 4 所示，在图像的八邻域示意图中，P1 为前景点，按照 P1 八邻域的顺时针方向分别为 P2、P3、P4、P5、P6、P7、P8、P9。该细化算法的步骤如下:第一步如果满足以下所有条件，则标记该像素点(1)2N(P1)6;(2)S(P1)=1;(3)P2*P4*P6=0;(4)P4*P6*P8=0;第二步如果满足以下所有条件，且已被第一步标记，则删除该像素点(1)2N(P1)6;(2)S(P1)=1;(3)P2*P4*P8=0;(4)P2*P6*P8=0;其中，N(P1)是 P2，P3，P9 中的非零点的个数，S(P1)是 P2，P3，P8，P9 为序时这些点的值从 0到 1 变化的次数。以上两步构成一次迭代过程，遍历所有像素点，77张伟康，等:激光条纹亚像素中心精确提取方法http /www laserjournal cn重复迭代过程，直到没有可以删除的像素点后，得到激光条纹的骨架，并作为条纹中心提取时的初值。2.5激光条纹法向计算计算激光条纹法向时通常采用方向模板法、Hes-sian 矩阵、Bazen 法等，但是这几种方法涉及大量的卷积计算，影响激光条纹中心提取的实时性。为此基于最小二乘法确定激光条纹骨架的法向，从而缩短算法运行时间。法向提取示意图如图 5所示。图 5法向提取示意图将待计算法向的骨架点记为(x1，y1)，并以该点作为中心，将其左右两侧等量若干个骨架点记为点集W(xi，yi)，i=1，2，3，n。首先使用最小二乘法16 对点集 W(xi，yi)中的骨架点进行直线拟合，最后基于拟合出的直线确定骨架点的法向。设需拟合的直线方程为:y=ax+b。其中 a 为斜率，b 为截距。利用最小二乘法对选取的骨架点集进行直线拟合时，要求误差平方和最小，即下式值最小:Ja，b=ni=1(yi(axi+b)2(7)通过上式参数 a，b 分别求偏导且令其为 0，得:Ja，ba=2ni=1 yi(axi+b)xi=0(8)Ja，bb=2ni=1 yi(axi+b)=0(9)通过求解可得参数 a，b 的最优估计值a=nni=1xiyini=1xini=1yinni=1x2ini=1xi()2(10)b=ni=1x2ini=1yini=1xini=1xiyinni=1x2ini=1xi()2(11)此时可得出骨架点的法向斜率 m=1a，进而可知待检测骨架点的法线方程为 y=y11a(xx1)。2.6提取激光条纹亚像素中心经双边滤波处理之后的激光条纹图像设为点集为 V(x，y)。沿着骨架点(xi，yi)的法向 m=1a，并在其两侧分别找到点集 V(x，y)中变化率最大的点作为边界点，这两个边界点之间的像素构成点集 T(x，y)。最后在点集 T(x，y)中利用灰度重心法求得激光条纹的亚像素中心点(xt，yt)。xt=Ni=1f(xi，yi)xiNi=1f(xi，yi)(12)yt=Ni=1f(xi，yi)yiNi=1f(xi，yi)(13)其中，f(xi，yi)为点(xi，yi)的灰度值，N 为点集 T(x，y)中像素点的个数。3实验结果与分析为验证所提算法的合理性，搭建实验平台，如图 6所示。该实验平台采用中心波长 650 nm，线宽 0.1mm，功率 100 mW 的红色线激光器作为光源;CMOS工业相机分辨率为 960 pixel1280 pixel。本算法实验在 Intel()Core(TM)i5 7300HQ CPU 2.50GHz、内存 8 GB、操作系统为 Win10 的计算机上进行。计算软件采用 Visual Studio2017 和 OpenCV4.5。图 6实验平台将实验平台采集到的图像经双边滤波和 OI 区87张伟康，等:激光条纹亚像素中心精确提取方法http /www laserjournal cn域裁剪后，分别采用本算法、Steger 算法、方向模板法、传统灰度重心法进行激光条纹中心提取对比实验，其中滤波器模板大小均为 55，方向模板法的模板大小为 1111，传统灰度重心法的灰度阈值设置为 160。这里为了便于展示提取到的效果，将提取的到亚像素中心进行取整并画线表示。图 7 为本算法提取到的激光条纹中心，图 8 为 Steger 算法提取到的激光条纹中心，图 9 为方向模板法提取到的激光条纹中心，图10 为传统灰度重心算法提取到的激光条纹中心。图 7本算法提取结果图 8Steger 算法提取结果图 9方向模板法提取结果图 10传统灰度重心法提取结果基于搭建好的实验平台，对上述四种算法在速度和准确度上进行量化分析。将上述四种算法分别运行 10 次，并计算每种算法运行 10 次的平均时间，如表 1 所示。表 1各算法运行平均时间算法本算法Steger算法方向模板法传统灰度重心法运行时间/(s)0.1070.6680.3530.138由表 1 可知:在实验环境下，本算法是上述算法中运行速度最快的，在计算速度上有显著提高。由于Steger 算法需要用到高斯核模板卷积，计算图像的一阶、二阶导数，计算 Hessian 矩阵等导致算法复杂度相当大。而本算法通过对采集到的激光条纹图像进行感兴趣区域裁剪，极大地减少了计算量。另外基于最小二乘法对激光条纹骨架求取法向，没有选取传统的方向模板法和 Bazen 法，避免了大量卷积的计算，从而进一步提高运行速度。为进一步分析算法的准确性，孙晓明博士曾在其博士论文17 中提出，对于激光条纹中心提取算法的准确性分析并没有统一的方法，另外由于激光条纹中心的真值无法确定，因此，在实验中通常采用残差(xi?x)代替真差。根据 Bessel 公式求得激光条纹中心坐标标准误差 的值:=ni=1(xi?x)2n 1(14)其中，n 为激光条纹中心像素点个数;?x 为激光条纹中心点 x 坐标平均值。表 2各算法计算出的光条中心坐标标准误差值算法本算法Steger算法方向模板法传统灰度重心法(x，y)(335.527，17.513)(346.639，18.812)(386.339，44.014)(369.648，17.935)由表 2 可知:本算法的光条中心坐标标准误差最小。通过实际观察可以看出传统灰度重心法在工件表面光照反射不均匀时，提取的激光条纹中心会产生一定的误差，容易受到环境噪声等因素的影响;方向模板法在提取激光条纹中心时有一定的断线修补能力，但由于受到模板方向的约束，当工件表面纹理较为复杂时，会产生多方方向地偏移 Steger 算法与本算法提取的激光条纹中心主观效果较好。另外通过计算提取到的激光条纹中心的分辨率，进而对算法的准确性进行量化分析。表 3各算法提取到条纹中心的像素个数算法本算法Steger算法方向模板法传统灰度重心法像素个数92372112631279由表 3 可知:Steger 算法提取到的激光条纹中心像素点少于本算法，经计算可知，本算法提取的激光条纹中心分辨率相对经典的 Sterger 算法提高了15.9%。由于传统灰度重心法和方向模板法提取的激光条纹中心线存在过多无效点，为此在分析提取激光条纹中心的分辨率时，不考虑这两种方法。4结语提出的激光条纹亚像素中心精确提取方法，通过采用改进的多阈值最大类间方差法，可以更好地取到工件形状突变处的条纹信息，并基于最小二乘法来获取激光条纹骨架的法向，提高了算法运行速度，最后在其法向上利用灰度重心法计算激光条纹的亚像素中心位置。实验结果表明，该算法与经典的 Sterger 算法相比较，在条纹中心线的分辨率上提高了 15.9%，97张伟康，等:激光条纹亚像素中心精确提取方法http /www laserjournal cn运行速度上提高了近 6 倍，在工业上适用于在线精确测量。参考文献 1 高恩浩 基于激光三角测距法的三维重建系统的设计与研究 D 南京:南京理工大学，2020 2 李伟明，et al 线激光光条中心快速提取算法 J 中国激光，2020，47(03):192199 3 韩洁，刘亚文 线结构光光条中心提取的变阈值分割算法 J 测绘地理信息，2020，45(03):2023 4 胡丹 焊缝成形线结构光视觉检测方法研究 J 制造技术与机床，2022，(03):132137 5 He Z，Kang L，Zhao X，et al obust laser stripe extractionfor 3D measurement of complex objectsJ MeasurementScience and Technology，2020 6 高世一，杨凯珍 变边限高斯拟合提取激光条纹中心线方法的研究J 仪器仪表学报，2011，32(05):11321137 7 孙盼庆，杨永跃，何亮亮 一种改进的高斯拟合法在光带中心提取中的应用 J 电子设计工程，2012，(13):179181+185 8 胡斌，李德华，金刚，等 基于方向模板的结构光条纹中心检测方法 J 计算机工程与应用，2002，(11):5960 9 Steger C An unbiased detector of curvilinear structures J IEEE Transactions on pattern analysis and machine intelli-gence，1998，20(2):113125 10 Baumgartner A，Steger C，Mayer H，et al Automatic roadextraction based on multi scale，grouping，and contextJ Photogrammetric Engineering and emote Sensing，1999，65:777786 11 李丹，耿楠，亢娟娜 复杂背景下光条中心提取算法研究 J 计算机应用与软件，2013，30(03):271273+314 12 王惠琴，吕佳芸，张伟 基于双边滤波BM3D 算法的GP 图像去噪 J 兰州理工大学学报，2022，48(01):9197 13 李俊峰 双边滤波算法的快速实现及其在图像处理的应用 D 广州:南方医科大学，2013 14 袁小翠，吴禄慎，陈华伟 基于 Otsu 方法的钢轨图像分割 J 光学精密工程，2016，24(07):17721781 15 刘国海 基于改进的并行细化算法农田喷药机器人路径识别 第 37 届中国控制会议论文集C/2018，12651270 16 田垅，刘宗田 最小二乘法分段直线拟合J 计算机科学，2012，39(S1):482484 17 孙晓明 基于结构光的公路路面裂缝检测关键技术研究 D 哈尔滨:哈尔滨工业大学，201208张伟康，等:激光条纹亚像素中心精确提取方法