一种基于正方形内插点的二维平面视觉定位算法_秦亚敏.pdf

第4 0卷第1期2 0 2 3年2月河 北 省 科 学 院 学 报J o u r n a l o f t h e H e b e i A c a d e m y o f S c i e n c e sV o l.4 0 N o.1F e b.2 0 2 3收稿日期:2 0 2 2-0 8-1 8基金项目:河北省科学院高层次人才培养与资助项目(2 0 2 2 G 2 1)作者简介:秦亚敏(1 9 9 1-),女,河北邯郸人,硕士,工程师,研究方向:机电一体化.文章编号:1 0 0 1-9 3 8 3(2 0 2 3)0 1-0 0 0 7-0 6一种基于正方形内插点的二维平面视觉定位算法秦亚敏1,2,张 雷1,2,赵东哲1,2,张 磊3,刘 申1,2(1.河北省机电一体化中试基地有限公司,河北 石家庄 0 5 0 0 8 1;2.河北省工业测控技术创新中心,河北 石家庄 0 5 0 0 8 1;3.河北亿鑫通讯设备有限公司,河北 衡水 0 5 3 0 0 0)摘 要:针对二维平面上物体定位、尺寸测量,提出了一种基于正方形内插点的二维平面视觉定位算法,在待测物所在平面上放置由NN个尺寸相同的特征正方形组成的棋盘格标定板,以各特征正方形角点为标定点,确定像素坐标系和世界坐标系的映射关系,根据待测点像素坐标计算出其所处的特征正方形位置,并求解出待测点与所处特征正方形左下角点像素值的线性系数,反求出待测点的世界坐标值进而完成待测点的定位。将本文算法与文献3 的快速二维D e l a u n a y三角网点定位算法和文献8 的改进的基于九圆点的摄像机自标定算法进行对比实验,结果表明:本文算法标定过程简单、计算量小、精度更高,可实现二维平面上物体的精确定位和测量,对二维平面视觉定位具有较高的借鉴价值。关键词:二维平面;视觉定位;特征正方形;正方形内插点中图分类号:T P 3 9 1.4 文献标识码:AA v i s i o n p o s i t i o n i n g a l g o r i t h m b a s e d o n t h e s q u a r e i n t e r-p o i n t o f t w o-d i m e n s i o n a l p l a n eQ I N Y a-m i n1,2,Z H A N G L e i1,2,Z H A O D o n g-z h e1,2,Z H A N G L e i3,L I U S h e n1,2(1.H e b e i M e c h a t r o n i c s I n t e r m e d i a t e P i l o t P r o d u c t i o n B a s e C o.,L t d.,S h i j i a z h u a n g H e b e i 0 5 0 0 8 1,C h i n a;2.H e b e i I n d u s t r i a l M e a s u r e m e n t a n d C o n t r o l T e c h n o l o g y I n n o v a t i o n C e n t e r,S h i j i a z h u a n g H e b e i 0 5 0 0 8 1,C h i n a;3.H e b e i Y i x i n C o mm u n i c a t i o n E q u i pm e n t C o.,L t d.,H e n g s h u i H e b e i 0 5 3 0 0 0,C h i n a)A b s t r a c t:I n v i e w o f o b j e c t l o c a t i o n a n d s i z e m e a s u r e m e n t i n t w o-d i m e n s i o n a l p l a n e,a v i s i o n p o s i t i o n i n g a l g o r i t h m o f t w o-d i m e n s i o n a l w h i c h i s b a s e d o n s q u a r e i n t e r-p o i n t i s p r o p o s e d.A c h e c k e r b o a r d c a l i b r a t i o n b o a r d c o n s i s t i n g o f NN c h a r a c t e r i s t i c s q u a r e s o f t h e s a m e s i z e i s p l a c e d o n t h e p l a n e w h e r e t h e o b j e c t t o b e m e a s u r e d i s l o c a t e d,a n d t h e c o r n e r p o i n t s o f e a c h c h a r a c t e r i s t i c s q u a r e a r e u s e d a s c a l i b r a t i o n p o i n t s t o d e t e r m i n e t h e t r a n s f o r m r e l a t i o n s h i p b e t w e e n p i x e l c o o r d i n a t e s y s t e m a n d w o r l d c o o r d i n a t e s y s t e m.A c c o r d i n g t o t h e p i x e l c o o r d i n a t e s o f t h e p o i n t t o b e m e a s u r e d,t h e p o s i t i o n o f t h e c h a r a c t e r i s t i c s q u a r e i s c a l c u l a t e d a n d t h e l i n e a r c o e f f i c i e n t o f p i x e l v a l u e s b e t w e e n t h e m e a s u r e d p o i n t a n d l o w e r l e f t c o r n e r o f c h a r a c t e r i s t i c s q u a r e a r e m e a s u r e d,t h e n t h e w o r l d c o o r d i n a t e v a l u e s a r e i n-DOI:10.16191/ki.hbkx.2023.01.005河北省科学院学报2 0 2 3年第4 0卷v e r s e l y c a l c u l a t e d a n d t h e m e a s u r e d p o i n t i s l o c a t e d.T h e a l g o r i t h m i n t h i s p a p e r i s c o m p a r e d w i t h t h e r a p i d a l g o-r i t h m f o r p o i n t p o s i t i o n i n g i n 2 D d e l a u n a y t r i a n g u l a t i o n i n r e f e r e n c e 3 a n d t h e i m p r o v e d n i n e d o t s c a l i b r a t i o n a l-g o r i t h m i n r e f e r e n c e 8.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e a l g o r i t h m i n t h i s p a p e r h a s t h e a d v a n t a g e s o f s i m p l e c a l i b r a t i o n p r o c e s s,l e s s c o m p u t a t i o n a n d h i g h e r a c c u r a c y,w h i c h c a n r e a l i z e t h e p r e c i s e p o s i t i o n i n g a n d m e a s u r e m e n t o f o b j e c t s o n t w o-d i m e n s i o n a l p l a n e s,a n d h a s h i g h r e f e r e n c e v a l u e f o r t w o-d i m e n s i o n a l p l a n a r v i s u a l l o c a l i z a t i o n.K e y w o r d s:T w o-d i m e n s i o n a l p l a n e;V i s i o n p o s i t i o n i n g;C h a r a c t e r i s t i c s q u a r e;S q u a r e i n t e r-p o i n t 伴随着智能制造流水线在工业生产中的广泛应用,在工件定位、产品涂胶、零件装配等领域工业机器人逐渐取代人工作业1,而自动化作业中均需首先识别并定位平面上目标点的位置信息。由于单目视觉测量具有非接触、系统简单、操作简便、成本低等优点,其被广泛应用于平面目标的二维测量中2,王雯等人3提出的基于平面域D e l a u n a y三角网点定位算法(以下简称“文献3 算法”)实现了二维平面定位,但该算法对三角网的构网效率和稳定性要求比较高,计算量大;张杰等人4提出了基于区域分割的大靶面单目视觉目标位置测量方法,该方法需要利用线扫描激光器对待测区域进行逐行逐列扫描,扫描时间较长可能会造成摄像机与扫描器相对位置发生改变进而造成测量值不准确;龚海强等人5提出了一种激光扫描在工件角点定位中的应用方法,该方法利用机械臂带动激光传感器扫描工件表面,利用算法得出工件角点在激光测量坐标系中精确坐标信息,但机械臂的运动精度直接影响着定位精度,徐兵等人6利用中心对称标记的中心旋转不变特性,提出了一种基于自归一化积相关(S N C C)的模板匹配方法,柴兴华等人7提出一种即时平面标定的二维视觉测量方法,通过在待测物上直接投射标定的激光点阵实现对待测物表面的特征点的测量计算,该方法的前提是对结构光系统参数进行标定,且摄像机和激光器的空间位置均不能变化,陈洵凛等人8提出了一种改进的基于九圆点的摄像机自标定算法(以下简称“文献8 算法”),该算法的前提是摄像机内参已知。本文提出一种基于正方形内插点的二维平面视觉定位算法,该算法无需对摄像机内参进行求解,就可实现二维平面内物体的定位及测量。首先,将NN个尺寸相同的特征正方形所组成的棋盘格标定板放置在待测物所在平面上,以各特征正方形角点为标定点确定像素坐标系和世界坐标系的映射关系,然后求解 OW YW XW ZCP1P2 P3P4 P YC XC OC u O v p1 p2 p4 p3 p 图1 摄像机成像几何关系待测点的像素坐标值,提取该待测点所处特征正方形左下角点世界坐标,通过该待测点与所处特征正方形左下角点像素值的线性关系反求出该点的世界坐标值,从而实现固定平面内物体的定位及尺寸测量。1 正方形内插点的二维平面视觉定位模型本文摄像机成像几何关系如图1所示,OC-XCYCZC为相机坐标系且光心OC为相机坐标系原点,O-u v为像素坐标系,其中,ZC轴与摄像机光轴重合且垂直于像素坐标系O-u v,相机坐标系的XC轴和YC轴分别与像素坐标系的u、v轴平行;在固定平面上建立垂直于ZC轴的二维世界坐标系OW-XWYW,使得世界坐标系的XW轴和YW轴分别与像素坐标系的u轴、v轴平行6。如图1所示,空间内任意平面OW-XWYW均可视为由无 数 个 边 长 尺 寸 相 等 的 特 征 正 方 形 组 成,所 述 平 面8第1期秦亚敏等:一种基于正方形内插点的二维平面视觉定位算法OW-XWYW内任意待测点P均可视为处于某一特征正方形P1P2P3P4区域内,该特征正方形在像素坐标系O-u v下投影为正方形p1p2p3p4,点p为点P在像素坐标系O-u v下的投影。若已知像素坐标系O-u v下投影点p与投影正方形p1p2p3p4的拓扑关系便可求得世界坐标系下待测点P与正方形P1P2P3P4的拓扑关系。基于以上原理,提出一种基于正方形内插点的二维平面视觉定位算法。2 正方形内插点的二维平面视觉定位原理如图2所示,待测点P为特征正方形P1P2P3P4内任意一点,该点P与正方形P1P2P3P4的位置方式可分为以下5种:点P位于边P1P2上,如图2(a)所示;点P位于边P2P3上,如图2(b)所示;点P位于边P3P4上,如图2(c)所示;点P位于边P4P1上,如图2(d)所示;点P位于区域I内,如图2(e)所示。设待测点P的世界坐标值为(X,Y),该待测点P所处特征正方形P1P2P3P4在世界坐标系下边长尺寸为L,其四个角点世界坐标为:P1(X1,Y1)、P2(X2,Y2)、P3(X3,Y3)、P4(X4,Y4),该特征正方形在像素坐标系下的投影为正方形p1p2p3p4,其像素坐标系下边长尺寸为l,对应的角点像素坐标为:p1(x1,y1)、p2(x2,y2)、p3(x3,y3)、p4(x4,y4)。XOPP2P1PPP4YP3XOP2P1（P）（P）PP4YP3XOPP2P1P（P）P4YP3XOP2P1PPP4YP3XOP（P）P2（P）P1P4YP3（e）（d）（c）（b）（a）（P）图2 点与正方形拓扑关系如图2所示,以待测点P为端点,向特征正方形的下边线P1P2和左边线P1P4做垂线,分别交于点P 和点P。设点P 的世界坐标值为(X,Y),其在像素坐标系下投影点p 的像素坐标值为(x,y),点P 的世界坐标值为(X,Y),其在像素坐标系下投影点p 的像素坐标值为(x,y),由投影原理可得,无论待测点P处于特征正方形的哪一区域,均存在以下两个结论:(1)待测点P的X世界坐标值和其在边P1P2的投影点P 的X世界坐标值相等,待测点P的Y世界坐标值和其在边P1P4的投影点P 的Y世界坐标值相等,如下式:XY=X Y(1)(2)投影点P 的Y世界坐标值与特征正方形左下角点P1的Y世界坐标值相等,投影点P 的X世界坐标值与特征正方形左下角点P1的X世界坐标值相等,如下式:Y X=Y1X1(2)设边P1P2上投影点P 与边P1P2线性系数为,边P1P4上投影点P 与边P1P4的线性系数为9河北省科学院学报2 0 2 3年第4 0卷v,则:=|P1P|P1P2|=|p1p|p1p2|=|P1P|P1P4|=|p1p|p1p4|(3)式(3)中,|P1P2|和|P1P4|的值等于特征正方形在世界坐标系下的边长L,|p1p2|和|p1p4|的值为特征正方形在像素坐标系下的边长l,将各点对应的世界坐标值和像素坐标值代入式(3)可得:=(X1-X)2+(Y1-Y)2L=(x1-x)2+(y1-y)2l=(X1-X)2+(Y1-Y)2L=(x1-x)2+(y1-y)2l (4)式(4)中,Y y X x =Y1y1X1x1 ,故式(4)可转化为:=|X-X1|L=|x-x1|l=|Y-Y1|L=|y-y1|l(5)将公式(5)转换可得到待测点P的世界坐标值为:XY=1 00 1X1Y1+Ll|x-x1|y-y1|(6)式中:(X1,Y1)为待测点P所在特征正方形左下角点P1的世界坐标值,(x1,y1)为特征正方形左下角点P1对应的像素坐标系下投影点p1的像素坐标值,(x,y)为求得的待测点P在像素坐标系下投影点p的像素坐标值,L为特征正方形在世界坐标系下的边长尺寸,l为特征正方形在像素坐标系下的边长尺寸。3 正方形内插点的二维平面视觉定位算法流程(1)建立世界坐标系,获取特征角点世界坐标。将工业相机架构在待测平面正上方,保证相机中心光轴垂直于待测面,将由NN个边长尺寸相等且已知的正方形组成的棋盘格标定板水平放置于固定平面上,以标定板左下角第一个特征角点为坐标原点建立如图3(a)所示的世界坐标系OW-XWYWZW,其中,ZW轴垂直于待测面,XW轴和YW轴分别与像素坐标系的u轴和v轴平行,因此可将处于固定平面上所有点的ZW值看作为0,故而可确定正方形棋盘格各特征角点的世界坐标。(2)获取标定板特征角点像素坐标和边长像素尺寸。用角点检测法提取出正方形棋盘格中所有角点的像素坐标9,并将这些角点像素坐标储存,通过计算左上角特征点P0-0、右上角特征点P0-N两个角点的距离得出正方形棋盘格在像素坐标系下的像素边长尺寸,计算公式如下:l=(x0n-x0 0)2+(y0n-y0 0)2N(7)式中,(x0n,y0n)为点P0-N的像素坐标,(x0 0,y0 0)为点P0-0的像素坐标,N为正方形棋盘格每一边上特征正方形的个数。(3)确定待测点P所处特征正方形具体位置1 0,1 1。设固定平面内任意待测点P,其在像素坐标系下投影点p的像素坐标为p(x,y),棋盘格左上角第一个特征角点坐标为p0-0(x0 0,y0 0),设待测点P处于正方形棋盘格内的第Nx,Ny个特征正方形内,计算公式如下:01第1期秦亚敏等:一种基于正方形内插点的二维平面视觉定位算法Nx=c e i l|y-y0 0|l()Ny=c e i l|x-x0 0|l()(8)(4)待测点P世界坐标获取。根据步骤(3)确定出待测点所处特征正方形的具体位置后,即可获取该特征正方形左下角特征点的世界坐标值和像素坐标值,将对应值代入公式(6),便可求得待测点P的世界坐标。4 方法应用为验证基于正方形内插点的二维平面视觉定位算法的可行性,在同等实验条件下设计对比测量实验,以实际边长尺寸为3 5 mm8 0 mm的矩形标准块作为试验对象,将本文算法与文献3 和文献8 中的算法进行实验对比。试验采用的相机分辨率为1 0 2 41 2 8 0像素。本对比测量实验的步骤为:分别将三种算法应用的标定板放置在同一待测平面上;将待测矩形标准块放置在该平面上并对其进行图像采集;分别运用上述三种算法对矩形标准块进行边长尺寸测量;将矩形标准块的测量值与实际值做比较,并进行实验分析。实验中,本文算法选用的正方形棋盘格由88个边长物理尺寸为1 5 mm的正方形组成,如图3(a)所示;文献3 算法采用的标定板由88个圆心距为1 5 mm,半径为1 0 mm的特征圆点组成,如图3(b)所示;文献8 算法采用的标定板由33个圆心距为5 0 mm,半径为1 5 mm的特征圆点组成,如图3(c)所示。图3(a)中,本文算法选取正方形棋盘格标定板左下角第一个特征角点为世界坐标系原点OW,原点水平向右为世界坐标系XW轴,原点竖直向上为世界坐标系YW轴,由于待测平面上ZW值一致,在此不做考虑。已知正方形棋盘格由88个边长物理尺寸为1 5 mm的正方形组成,故可得其特征角点点集的世界坐标XW,YW;应用角点检测法可求得正方形棋盘格特征角点点集的像素坐标xu,yu。XWOWP0-NP0-0（a）本文算法采用的标定板（b）文献3算法采用的标定板（c）文献8算法采用的标定板YW图3 对比测量试验标定板标定板左上角点P0-0和右上角点P0-N的像素坐标依次为p0-0(2 0 1,9 1)、p0-N(1 0 8 3,9 1),将其带入图4 标准块图像式(7)得出该正方形棋盘格在像素坐标系下的像素边长尺寸为:l=(x0n-x0 0)2+(y0n-y0 0)2N=1 1 0.2 5 p i e x l(9)采集的矩形标准块图像如图4所示,运用角点法求得标准块四个角点A、B、C、D的像素坐标值,按照本文提出的算法流程获取各角点所在特征正方形位置以及对应特征正方形左下角点的像素坐标和世界坐标,将上述值代入式(6)得出各待测点的世界坐标值,测得的数据见表1,运用本文算法、文献3 算法和文献8 算法测得的矩形标准块边长尺寸测量结果见表2。11河北省科学院学报2 0 2 3年第4 0卷表1 待测点所处特征正方形相关数据特征点特征正方形位置特征正方形左下角点像素坐标值/p i e x l世界坐标值/mm世界坐标值/mmANx=6,Ny=7(8 6 2,7 4 8)(9 0,3 0)(1 0 2.6 2,4 1.5 5)BNx=4,Ny=8(9 7 2,5 2 8)(1 0 5,6 0)(1 1 0.9 1,7 5.5 9)CNx=2,Ny=3(4 2 3,3 1 1)(3 0,9 0)(3 3.1 3,9 4.4 7)DNx=5,Ny=2(3 1 4,6 4 0)(1 5,4 5)(2 4.9 2,6 0.4 8)表2 对比结果标准块边线实际长度/mm本文算法文献3 算法文献8 算法测量长度/mm绝对误差/mm测量长度/mm绝对误差/mm测量长度/mm绝对误差/mmA B3 53 5.0 3 50.0 3 53 4.9 0 10.0 9 93 5.0 3 40.0 3 4B C8 08 0.0 3 90.0 3 98 0.0 4 20.0 4 27 9.9 3 10.0 6 9C D3 53 4.9 6 70.0 3 33 5.0 3 50.0 3 53 4.9 6 30.0 3 7D A8 07 9.9 7 00.0 3 07 9.9 1 80.0 8 28 0.0 6 80.0 6 8平均误差/mm0.0 3 4 30.0 6 4 50.0 5 2 0由表2可知,在实验条件一致的前提下,运用本文算法、文献3 算法和文献8 算法测得矩形标准块边长尺寸测量值与实际值的平均误差分别为0.0 3 4 3 mm、0.0 6 4 5 mm和0.0 5 2 0 mm,本文算法测得的平均误差最小。实验结果表明:本文提出的基于正方形内插点的二维平面视觉定位算法克服了文献3 算法和文献8 算法标定过程繁琐、计算量大的缺点,同时提高了测量精度,可实现二维平面上物体的定位及尺寸测量。5 结论提出了一种基于正方形内插点的二维平面视觉定位算法,该算法实现过程中不涉及摄像机内外参数的求解,只需保证摄像机像素坐标系和建立的世界坐标系平行,将正方形棋盘格标定板放置在待测平面上,通过提取待测点的像素坐标值,运用本文算法调出待测点所处特征正方形左下角点对应的像素坐标和世界坐标,计算出待测点像素坐标与所处特征正方形左下角点的像素坐标的线性关系,就可反求出该待测点的世界坐标值。通过实验验证了本算法的可行性,相较文献3 算法和文献8 算法标定过程简单、计算量少、精度更高,对二维平面上物体的定位及尺寸测量具有较高的借鉴价值。参考文献:1 田军委,闫明涛,丁良华,等.视觉伺服机械臂手机抓取最佳位姿检测J.计算机系统应用,2 0 2 1,3 0(6):1 5 4-1 6 1.2 刘昶,韦飞云,孙维广.基于双平行平面相机模型的钢板尺寸视觉测量J.光学精密工程,2 0 1 6,2 4(4):7 1 4-7 2 5.3 王雯,吴蔚,苏天赟.一种快速二维D e l a u n a y三角网点定位算法J.测绘工程,2 0 1 6,2 5(3):2 5-2 9.4 张杰,马晓东,张吉旋.基于区域分割的大靶面单目视觉测量技术J.兵器装备工程学报,2 0 2 0,4 1(4):1 8 1-1 8 5.5 龚海强,单奇,罗新河.激光扫描在工件角点定位中的应用方法J.机械设计与制造,2 0 2 0,(9):2 3 9-2 4 2+2 4 7.6 徐兵,陈跃飞,周畅,等.一种基于S N C C的中心对称标记精确定位方法J.光电子技术,2 0 2 0,4 0(4):2 8 4-2 9 0.7 柴兴华,高峰,楚博策,等.一种即时平面标定的二维视觉测量方法J.光学学报,2 0 1 8,3 8(7):1 1 6-1 2 3.8 陈洵凛,殷素峰,黎小巨,等.一种改进的基于九圆点的摄像机自标定算法J.机床与液压,2 0 2 1,4 9(1):8 6-9 0.9 高飞,葛一粟,汪韬,等.基于空间平面约束的视觉定位模型研究J.仪器仪表学报,2 0 1 8,3 9(7):1 8 3-1 9 0.1 0 伍明,伍俊龙,马帅,等.基于角点灰度分布特征的棋盘格角点检测J.激光与光电子学进展,2 0 2 0,5 7(1):1 0 9-1 1 6.1 1 徐从裕,高雨婷,徐俊,等.几何重心法亚像素提取算法研究J.计量学报,2 0 2 0,4 1(2):1 9 0-1 9 7.21