基于机器视觉的输电铁塔联结板加工特征测量方法.pdf

收稿日期:2 0 2 2 0 7 2 0作者简介:高立鹏(1 9 7 4-),男,高级工程师,主要从事高压输电铁塔智能制造技术、高压输电线路工程工作。基金项目:国网河北省电力有限公司科技项目(S B D 2 0 2 1 0 2)。基于机器视觉的输电铁塔联结板加工特征测量方法高立鹏1,徐振佳1,刘宝华2,张穆勇2(1.河北省送变电有限公司电力保障分公司,河北 石家庄 0 5 1 1 3 0;2.北华航天工业学院机电工程学院,河北 廊坊 0 6 5 0 0 0)摘要:联结板是输电铁塔的基本构件,其加工质量和精度,决定铁塔能否正确组立和达到其设计承载能力。基于机器视觉技术,提出了一种联结板加工特征测量方法。首先,针对联结板的结构特点,通过增加世界坐标系的约束,消除单目视觉成像的多义性;然后,基于P y t h o n+O p e n C V平台,开发了图像测量系统,实现了单目视觉测量;最后,在实验室环境下搭建测量平台,并对实验样件进行测量。结果表明,该方法测量精度高,孔径特征的测量误差小于1.0 2%,符合国家标准要求。关键词:机器视觉;联结板;加工特征;测量中图分类号:TH 1 6 4T P 3 9 1.4 1 文献标志码:B 文章编号:1 0 0 1 9 8 9 8(2 0 2 3)0 3 0 0 6 5 0 5MM aa cc hh ii nn eeVV ii ss ii oo nn-bb aa ss ee ddMM aa cc hh ii nn ii nn ggFF ee aa tt uu rr eeMM ee aa ss uu rr ee mm ee nn tt ff oo rrCC oo nn nn ee cc tt ii nn ggPP ll aa tt eeoo ffTT rr aa nn ss mm ii ss ss ii oo nnTT oo ww ee rrGAOL i p e n g1,XUZ h e n j i a1,L I UB a o h u a2,Z HANG M u y o n g2(1.E l e c t r i cP o w e rG u a r a n t e eB r a n c h,H e B e iP o w e rT r a n s m i s s i o n&T r a n s f o r m a t i o nC o.,L t d.,S h i j i a z h u a n g0 5 1 1 3 0,C h i n a;2.S c h o o l o fM e c h a n i c a l a n dE l e c t r i c a lE n g i n e e r i n g,N o r t hC h i n a I n s t i t u t eo fA e r o s p a c eE n g i n e e r i n g,L a n g f a n g0 6 5 0 0 0,C h i n a)AA bb ss tt rr aa cc tt:T h ec o n n e c t i n gp l a t e i s t h eb a s i cc o m p o n e n to f t h e t r a n s m i s s i o nt o w e r.I t sm a n u f a c t u r i n gq u a l i t ya n da c c u r a c yd e t e r-m i n ew h e t h e r t h e t o w e r c a nb e c o r r e c t l ya s s e m b l e da n dr e a c h i t sd e s i g n e db e a r i n gc a p a c i t y.B a s e do nm a c h i n ev i s i o n t e c h n o l o g y,am a c h i n i n gf e a t u r em e a s u r e m e n t f o r c o n n e c t i n gp l a t e i sp r o p o s e d i nt h i sp a p e r.F i r s t l y,a c c o r d i n gt o t h e s t r u c t u r e f e a t u r eo f t h ec o n n e c t i n gp l a t e,t h ea m b i g u i t yo fm o n o c u l a r v i s i o n i m a g i n g i s e l i m i n a t e db ya d d i n g t h e c o n s t r a i n t so f t h ew o r l dc o o r d i n a t e s y s-t e m.T h e n,b a s e do nP y t h o n+O p e n C V,a ni m a g em e a s u r e m e n ts y s t e mi sd e v e l o p e dt or e a l i z et h em o n o c u l a rv i s i o nm e a s u r e-m e n t.F i n a l l y,am e a s u r e m e n tp l a t f o r mi sb u i l t i nt h e l a b o r a t o r ye n v i r o n m e n t a n d t h ee x p e r i m e n t a l s a m p l e s i sm e a s u r e d.T h e r e-s u l t ss h o wt h a tt h em e t h o dh a sh i g h m e a s u r e m e n ta c c u r a c y,a n dt h em e a s u r ee r r o ro fd i a m e t e ro fr o u n dh o l ei sl e s st h a n1.0 2%,w h i c hm e e t s t h er e q u i r e m e n t so fn a t i o n a l s t a n d a r d s.KK ee yyww oo rr dd ss:m a c h i n ev i s i o n;c o n n e c t i n gp l a t e;m a c h i n i n gf e a t u r e;m e a s u r e m e n t0 引言随着电网快速发展,特高压、超高压输电技术被广泛应用,对输电设备的安全性和可靠性要求越来越高。铁塔作为输变电系统重要的组成部分之一,主要起支撑导线、地线和保障电气绝缘的作用。为了充分发挥铁塔的支撑作用,必须消除其加工制造过程中各种质量缺陷,以保证电网运行的安全性和可靠性14。因此需对铁塔构件加工过程中的几何尺寸进行严格的过程检测,防止不合格品的发生,减少对塔身建造工序的影响。联结板是输电角钢塔的基本构件,属于平面形状不规则多孔板类零件,在实际生产检验过程中,采用游标卡尺、盒尺、卡板等测量工具进行人工抽检,工作量大、效率低,无法进行全面检测,且检测结果受人的主观因素影响,易出现不合格品漏检等。近年来,由于机器视觉具有非接触、响应快、精度高等特点,逐渐应用于汽车白车身检测、机械零部件形位尺寸测量方面,视觉测量技术得到了快速的发展57。本文以输电铁塔的联结板为对象,研究了联结板加工特征的机器视觉测量方法,以促进铁塔制造行业自动化水平的提高和行业的快速发展。56V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月1 联结板视觉测量的数学建模视觉成像就是将三维空间的物体,通过光学变换,投射到二维的像平面内。基于视觉的测量就是用像平面内的元素来反映物理空间中的形状和位置等信息,其实质就是通过坐标系变换,完成世界坐标系物体的空间特征信息在像素坐标系的表征和解算8。各坐标系的变换关系如图1所示。图1 坐标系之间的关系根据 成 像 的 原 理 分 别 建 立 像 素 坐 标 系(Ofu v)、图 像 坐 标 系(O x y)、摄 像 机 坐 标 系(OcXcYcZc)和世界坐标系(OwXwYwZw)。其中,像素坐标系和图像坐标系为平面坐标系,摄像机坐标系和世界坐标系为空间坐标系,摄像机坐标系中的轴Zc为摄像机的光轴,视觉测量坐标系及其原理如图2所示。图2 视觉测量坐标系及其原理空间中的物点P,映射在图像平面内为p,用u,v()、(xp,yp)、(Xcp,Ycp,Zcp)、(Xwp,Ywp,Zwp)分别表示物点P在像素坐标系、图像坐标系、摄像机坐标系和世界坐标系的坐标。1.1 像素坐标系和图像坐标系的变换由图2可知,物点P在像素坐标系和图像坐标系的变换为仿射变换,即将图像坐标通过缩放和平移,变换成方便计算机处理的像素坐标,则有u=xpd x+u0v=ypd y+v0(1)式中:(u0,v0)为图像坐标系中原点在像素坐标系中的坐标;d x、d y分别为图像坐标系中单位像素的物理尺寸。方程式组(1)的齐次矩阵方程可表示为uv1=1/d x0u001/d y v0001xpyp1(2)1.2 摄像机坐标系和图像坐标系的转换由图2可知,点P在摄像机坐标系下的空间坐标为(Xcp,Ycp,Zcp),通过透射变换将空间的三维坐标 变 换 为 图 像 坐 标 系 下 的 二 维 坐 标(xp,yp),在理想透视变换的情况下,其投射关系的齐次矩阵方程为xpyp1=f0 0 00f0 000 1 0XcpYcpZcp1(3)式中:f为摄像机的焦距;为齐次方程求解系数。1.3 世界坐标系和摄像机坐标系的变换世界坐标系与摄像机坐标系之间的映射为同一物点在不同的空间坐标系的刚体变换,其变换关系为刚体的旋转和平移,则其齐次矩阵方程可表示为XcpYcpZcp1=R T0 1XwpYwpZwp1(4)式中:R为3 3阶旋转矩阵;T为3 1阶平移矩阵。1.4 世界坐标系与像素坐标系之间的关系根据物点P的投影过程,将式(3)和式(4)代入式(2),则有以下运算过程uv1=1/d x0u001/d y v0001f0 0 00f0 00 0 1 0R T0 1XwpYwpZwp1=ax0u00ayv0001 0R T0 1XwpYwpZwp1=66V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月M1M2XwpYwpZwp1=MXwpYwpZwp1(5)式中:ax=f/d x为u轴的尺度因子;ay=f/d y为v轴尺度因子;M1为内参矩阵,只与摄像机的内部参数有关;M2为外参矩阵,由摄像机坐标系和世界坐标系决定;M为3 4阶投影矩阵。通过上述变换,每一个空间的物点都可以映射到像素坐标系进行表示。但在变换中,由于从三维空间变换到二维空间,即从空间域投射到面域,物体的深度信息出现多义性。例如空间中垂直于像素平面的多个点,对应于像素平面中的一个点。因此需要增加约束,才能正确表达空间的位置。在输电铁塔联结板的测量方案中,待测构件的加工特征在一个平面内,因此可以通过增加构件的测量放置位置约束来实现,即将世界坐标系中的Zw轴与摄像机的光轴(Zc轴)平行或重合,将待测构件布置在世界坐标系的OwXwYw平面内,在测量过程中,Zw和Zc为常量,进而实现了式(5)中从Xw,Yw()(u,v)的单映射,即像素坐标系中点和构件中点一一对应,消除了测量过程中的多义性,从而实现输电铁塔联结板的测量。2 联结板加工特征测量方法2.1 摄像机的标定摄像机标定采用张正友法,即利用标准的棋盘格标定板进行摄像机内外参数和畸变系数的标定,其核心思想是采用小孔成像的基本原理,利用标准标定板和图像中的角点,计算出图像和模板中的单映性矩阵,进而求得摄像机的内参矩阵、外参矩阵和畸变系数矩阵,其标 定原理详见 文献9。内参矩阵M1和外参矩阵M2构成投影矩阵M,用于还原联结板中的物理尺寸,畸变系数矩阵用于图像的畸变矫正。2.2 图像的处理在视觉测量中,数字图像的处理是关键环节,其流程如图3所示。1)图像的初级处理,即图像预处理,为图像处理做准备工作,其输入的是图像,输出的也是图图3 图像处理流程图像。主要包括图像滤波和图像增强等技术1 0。图像滤波用来消除或者削弱图像的噪声,常见的滤波方法由均值滤波、中值滤波和高斯滤波,可以根据不同的特性进行相应的滤波。图像增强是在工程检测中,进行灰度化处理,虽然丢失了色彩信息,但使图像运算变得简单高效。通过直方图均衡化增强处理后,图像的细节更加明显,以便于特征的提取。2)图像的中级处理,即图像分割,输入为图像,输出为符号集,是图像中目标区域的边缘集合,而不是整个图像。包括图像的阈值处理、连通域提取等。阈值处理是指在原始图像中,像素在给定的数值以上或以下,赋予确定的值。例如,在一幅8位的灰度图像中,把超过1 0 0的像素点被设定为2 5 5,把低于1 0 0以下的设定为0,这就是一种阈值处理方法,形成了一个二进制的影像。常见的阈值处理方法有二值化阈值处理、反二值化处理、截断阈值处理、超阈值处理以及低阈值处理。3)图像的高级处理,也叫做图像理解或模式识别。其输入为图像分割后的符号集合,输出为可以理解的物体、特征等。在输电铁塔联结板加工特征测量中,主要包括:边缘提取、直线的检测与测量、圆特征的检测与测量、角度的测量等。边缘提取是指包括联结板的轮廓线和加工特征的边缘的提取,利用C a n n y算子进行边缘检测,即计算图像灰度变化的梯度和方向,求解出梯度值变化最大的点,并记录其位置和方向1 0。76V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月直线的检测与测量是利用H o u g h变换进行直线的检测,把所有直线的两个端点保存成一个数组,计算两个点的坐标并计算向量,然后求出的向量长度就是直线长度。圆特征的检测与测量是图像分割后,进行漫水填充,去除构件外轮廓。利用霍夫变换进行圆特征检测,把所有的圆心坐标和半径保存成一个数组,以圆特征面积为准则,进行去重和消除错误的识别。角度的测量是针对两条直线,计算其交点和其向量夹角,实现角度的测量。3 联结板测量实验与结果分析利用本文提出的方法对实验构件的机械加工特征进行测量,将加工的孔特征分布在4个区域,并将测量结果与游标卡尺的测量记过进行对比,以验证本文提出方法的有效性。3.1 测量实验条件在实验室的环境中搭建了测量平台。视觉测量系统硬件如图4所示,其主要参数见表1。在P y-t h o n 3.8+O p e n c v 4.6的环境下,开发了测量软件。被测构件如图5所示,在实验构件上加工了4组1 0个孔,分成3类,分别是1 4.5mm、1 9.5mm、2 9mm,其编号如图5所示,孔径以游标卡尺的测量结果为基准,其尺寸见表2中的基准尺寸。图4 测量实验系统3.2 系统标定按照张正友法对系统进行了标定,采用1 2 9的棋盘格,角点间真实的物理距离为2 00.0 1mm。通过采集不同角度1 2张标定板图像,进行内外参矩阵和畸变系数矩阵的求解。采集的图像如图6所示。表1 系统硬件及其主要参数设备名称型号参数计算机D e l l T 5 8 2 0C P U:X e o n W 2 2 3 5内存:1 6G摄相机ME R 1 3 2 3 0 U C12 9 29 6 4像素镜头Z L K C VM 0 4 2 0 MP 5焦距4mm面光源D H K B G S D 1 5 0*1 5 0 W1 5 0mm1 5 0mm光源调节器DHK S P D 2 4 S 2 C双路可调2 4w标定板棋盘格1 292 00.0 1mm图5 待测构件图6 摄像机标定图像计算出的相机内参矩阵M1和畸变系数di s t分别为M1=10 8 1.7 506 3 2.4 5010 8 3.0 6 4 9 3.1 0001,di s t=-0.1 0 90 0.1 5 51 单位像素代表的真实物理距离dp i=0.2 3 58mm。3.3 测量结果采用本文提出的方法,对实验样件进行了测量,测量结果见表2。3.4 误差分析将实验样件联结板的孔径基准尺寸和系统的测量值进行对比,如表2所示。5号孔径相对误差最大1.0 3%,其绝对误差为0.1 5mm。7号孔径的绝对误差最大,其值为0.2 6 mm,其相对误差为0.9 0%,均满足国标G B/T2 6 9 4-2 0 1 8 输电线路铁塔制造技术条件 的要求。86V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月表2 孔径特征测量值及其误差编号测量值/mm基准尺寸/mm绝对误差/mm相对误差/%1号1 9.3 01 9.4 80.1 80.9 22号1 9.6 21 9.5 00.1 20.6 23号1 4.6 61 4.5 20.1 40.9 64号1 4.5 61 4.5 40.0 20.1 45号1 4.7 31 4.5 80.1 51.0 36号1 4.6 21 4.5 00.1 20.8 37号2 8.6 22 8.8 80.2 60.9 08号2 8.7 82 9.0 00.2 20.7 69号2 9.0 12 8.9 00.1 10.3 81 0号2 8.9 62 9.0 20.0 60.2 1 综 合 考 虑1 0个 孔 径 的 平 均 相 对 误 差 为0.6 7%,3类 孔 径 的 相 对 误 差 分 别 为0.7 7%、0.7 6%和0.5 6%,均在一倍的标准差内,说明对于不同大小的孔径,系统的测量精度无明显差别。考查最左边的1号孔径和7号孔径的平均相对误差为0.9 1%,最右边的4号、6号和1 0号孔径的平均误差为0.3 9%。发现左边孔径的测量误差明显大于右边孔径,导致这种现象出现的原因是待测工件成像时其形心与摄像机的光轴不重合,以及光轴与待测物体表面不垂直造成的。综合测量实验过程和实验样件孔径特征的测量结果,本文提出方法的测量结果有效、可靠,能够满足G B/T2 6 9 4-2 0 1 8 输电线路铁塔制造技术条件 的要求。4 结论联结板是输电铁塔的重要构件之一,在对联结板的结构特征进行分析基础上,建立了基于机器视觉的联结板机械加工特征的视觉测量系统和算法。1)采用实验环境中配置的视觉测量系统和5 0分度的游标卡尺相比,孔径大小的偏差在0.3mm以内。提高摄像机的分辨率,孔径的精度可进一步提高。2)本文提出的测量方法可以取得较高的测量精度,能够满足国家标准要求,具有较高的工程价值。参考文献:1 国家市场监督管理总局,中国国家标准化管理委员会.输电线路铁塔制造技术标准G B/T 2 6 9 4-2 0 1 8:S.北京:中国标准出版社,2 0 1 8.2 江文强,陈欣阳,刘景立等.含螺栓连接输电铁塔主材的承载性能研究J.中国工程机械学报,2 0 2 1,1 9(6):4 7 1 4 7 6.3 张武能,兰光宇,汪 毅等.基于非线性声弹性效应的输电铁塔螺栓预紧力预测数值分析J.中国电力,2 0 2 1,5 4(1 0):1 5 2 1 6 0.4 张武能,汪 毅,张留斌等.输电铁塔螺栓连接结构健康监测技术进展与展望J.中国电力,2 0 2 1,5 4(2):1 8 2 6.5 尹仕斌,任永杰,刘 涛等.机器视觉技术在现代汽车制造中的应用综述J.光学学报,2 0 1 8,3 8(8):1 1 2 2.6 包昊菁,刘思远,任 真等.基于机器视觉的链轮尺寸测量方法J/O L.吉林大学学报(工学版):1 1 52 0 2 2 0 7 2 0.h t t p s:/d o i.o r g/1 0.1 3 2 2 9/J.c n k i.j d x b d x b 2 0 2 1 1 3 8 4.7 韦春州,郑 伟,罗 捷等.视觉测量技术在汽车零部件尺寸检测中的应用J.汽车工艺与材料,2 0 2 2(1):6 3 6 7.8 邾继贵,于之靖.视觉测量原理与方法M.北京:机械工业出版社,2 0 1 1.9 迟德霞,王 洋,宁立群等.张正友法的摄像机标定试验J.中国农机化学报,2 0 1 5,3 6(2):2 8 7 2 8 9,3 3 7.1 0 C.S,M.U,C.W.著;杨少荣译.机器视觉算法与应用M.北京:清华大学出版社,2 0 0 8.本文责任编辑:侯 倩(上接第3 7页)电网末端电压不平衡问题的方法,通过电压不平衡机理分析,提出在逆变器侧引入负序虚拟导纳控制,此控制重塑了逆变器的负序输出阻抗,调节了逆变器负序电流的幅值,同时通过控制逆变器负序电流与电网侧负序电流同相,实现了电压补偿的最大化。仿真结果表明,该策略实施后公共耦合点电压不平衡度均符合低于2%的标准要求,降低了公共耦合点电压不平衡度,改善了电能质量。参考文献:1 黄卫东.低压配电网电压质量问题分析及其优化措施研究J.机电信息,2 0 1 4(1 8):2 1 2 2.2 段晓丽,罗耀华,游 江,等.基于阻抗分析的三相逆变器负载不平衡控制J.电工技术学报,2 0 1 2,2 7(1 2):5 6 6 2.3 WAN GF,MAO H,XU D,e ta l.N e g a t i v e-s e q u e n c ea d m i t-t a n c ec o n t r o ls c h e m ef o rd i s t r i b u t e dc o m p e n s a t i o no fg r i dv o l t a g eu n b a l a n c eC/I E E E.2 0 1 2I E E E1 3 t hW o r k s h o po nC o n t r o l a n d M o d e l i n gf o rP o w e rE l e c t r o n i c s.K y o t o:I E E E,2 0 1 2:1 8.4 李建文,王雪莹,李永刚,等.提高含光伏发电系统的配电网供电质量的研究J.太阳能学报报.2 0 1 8,3 9(8):2 2 9 3 2 3 0 3.5 曹太强,祁 强,王 军.三相逆变电源不平衡负载控制方法的研究J.电机与控制学报,2 0 1 2,1 6(4):5 0 5 5.6 施 永,杨向真,苏建徽.微网系统不平衡电压补偿控制策略J.电力系统自动化,2 0 1 7,4 1(2 3):9 6 1 0 2.本文责任编辑:王洪娟96V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月