一种基于靶标识别定位算法的视觉测量技术_熊雨农.pdf

书书书测控技术2023 年第 42 卷第 1 期模式识别与人工智能收稿日期:2022 03 02基金项目:国家自然科学基金(62033010)引用格式:熊雨农，李宏 一种基于靶标识别定位算法的视觉测量技术 J 测控技术，2023，42(1):28 34XIONG Y N，LI H Vision Measurement Technology Based on Target ecognition and Location AlgorithmJ Measurement Control Technology，2023，42(1):28 34一种基于靶标识别定位算法的视觉测量技术熊雨农，李宏(中国飞行试验研究院，陕西 西安710089)摘要:视觉测量在飞行试验高精度测试中发挥着重要作用。针对常规视觉测量中多标志点识别定位存在误识别、定位精度低等问题，设计了一种新的环形编码对角标志，并提出了一种基于环形编码对角标志识别定位算法的视觉测量技术。重点介绍了基于 EDCircles 圆检测算法的标志点识别、基于 Harries角点检测算法的亚像素级定位和基于坐标变换的编码信息解码等技术的实现。经过实验验证，研究成果编码标志点识别定位算法识别准确、鲁棒性强、定位精度高，在大投影角度下仍能达到 92%的识别率，可以满足飞行试验动态视觉测量任务相关需求。关键词:飞行试验;视觉测量;环形编码对角标志;圆检测;椭圆检测中图分类号:TP391 4文献标志码:A文章编号:1000 8829(2023)01 0028 07doi:10 19708/j ckjs 2023 01 005Vision Measurement Technology Based on Target ecognition and LocationAlgorithmXIONG Yu-Nong，LI Hong(Chinese Flight Test Establishment，Xi an 710089，China)Abstract:Vision measurement plays an important role in high-precision test of flight test Aiming at the prob-lems of false recognition and low positioning accuracy in multi marker point recognition and positioning in con-ventional vision measurement，a new ring coded diagonal marker is designed，and a multi marker point recogni-tion and positioning algorithm based on EDCircles ellipse detection method technology is proposed The imple-mentation of marker point recognition based on EDCircles，sub-pixel positioning based on Harries corner detec-tion algorithm，and the decoding of encoded information by coordinate transformation are introduced Throughthe experimental verification of the research results，the coded mark recognition algorithm of the research re-sults has the advantages of accurate recognition，strong robustness and high positioning accuracy It can still a-chieve 92%recognition rate under large projection angle，and can meet the relevant requirements of dynamicvision measurement tasks in flight testKey words:flight test;vision measurement;circular coded diagonal target;circle detection;ellipse detection在飞行试验测试任务中，视觉测量因测量精度高，与被测对象非接触和测量信息直观、信息量大等特点，被广泛应用于武器投放、空中加油和结构形变等试验科目中。视觉测量的前提和基础是对测试对象上的一个或多个特征点的稳定、可靠识别和跟踪。由于被测试对象经常存在图像信息单一和背景纹理不够丰富等问题，例如机翼和直升机旋翼表面在整个测量视场中，形成的图像梯度达不到跟踪和识别条件，因此，在测试中，往往需要人工在被测试对象中增加人工合作标志。82人工合作标志分为非编码标志点和编码标志点两大类。非编码标志点包括圆形、环形和四象限标志等典型代表，结构简单且容易识别，但其自身不具有唯一性，在多点或密集点测量时，无外加约束条件将无法实现快速可靠的自动匹配。而编码标志点附有唯一的身份信息，对每个标志进行唯一的身份解码后即可根据其编码配准实现自动匹配。环形编码标志具有旋转不变性、缩放不变性等优点，应用最为广泛，不少学者针对环状编码标志的识别检测和解码算法展开了研究。针对在视觉测量中环形编码标志的识别检测，段康容等1 运用基于二值化分割的图像处理算法检测标志点。刘建伟等2 提出了一种基于 Canny 算法的边缘检测算法，得到图像边缘后对错误目标过滤筛选，提高了标志点的检测准确率。解则晓等3 提出了一种基于六点定位获取成像中心的方法，在此基础上对环形编码标志进行识别定位。倪章松等4 设计了编码标志点，提取椭圆边缘环状领域，随后通过基于对偶二次曲线的目标函数模型求取标志点中心，并通过标志的几何特征实现筛选。熊雪菲等5 设计了一种环形圆点编码标志点，并通过椭圆的极点 极弦特性设计算法实现标志点的识别定位。上述文献提出的标志点结构简单、识别容易，配合相应的检测算法在多数情况下识别效果良好，但当投影角度过大时，图像畸变严重，识别效果欠佳，准确率下降。针对环形编码标志的解码问题，黄雪梅等6 为解决任意起始点解码的方式容易错解的问题，提出解码时选取最佳起始点的方法。张小迪等7 提出一种将解码结果与预设编码 ID 进行匹配的解码方法。可以看出，在视觉测量中的标志点检测工作中，编码标志的识别定位是众多学者密切关注的问题，提高其识别和定位精度是研究的热点方向。本文以实现飞行试验测试任务中多特征点的识别追踪为需求导向，针对常用靶标检测算法在大倾角环境下检测率较低、编码标志解码匹配难度大等问题，设计了一种用于物体运动状态测量的环形编码对角标志，并通过对已有椭圆识别和角点定位等算法的学习改进，提出了一种基于 EDCircles8 的环形编码对角标志识别和定位算法的视觉测量技术。经实验验证，该技术鲁棒性强、识别准确、定位精度高，能够满足飞行试验测试任务的需求。1编码标志点的设计在视觉测量中，待测对象的测量结果与靶标的识别定位效果密切相关，因此，在设计时就应严加考虑，并应注意以下原则:编码标志点应具有互异性。编码信息包含足够多的编码数目。标志点结构简单、特征鲜明、容易识别。依据上述要求，本文设计了一种新的环形编码对角标志，如图 1 所示。该编码标志结构主要由 4 个部分组成:外部黑圆、编码环、内部白圆和对角标志。其中外部黑圆用于确定靶标区域，内部白圆用于粗定位，对角标用于精定位，内部白圆配合中心对角标志的设计可提高定位精度。图 1环形编码对角标志结构图靶标编码信息带均分为 12 段，每隔 30为一个编码元，每个编码元可以使用黑色(灰度 0)或白色(灰度255)，按照顺时针顺序组成12 位二进制数，在解码时，选择其中对应十进制值最小的数作为编码值。2编码标志的定位与识别2 1图像预处理飞行试验环境复杂，图像采集时会受到周围环境中多种因素的影响，造成图像的亮度不均衡、影像模糊、噪声、变形等问题，从而影响到编码标记的检测识别。因此，本文采用图像预处理方法为下一步的识别、定位做准备。首先对采集到的图像进行 gamma 矫正及高斯滤波，然后采用 EDPF(Earliest Deadline and ProcessingTimefirst)算法，实现图像边缘的检测，该算法全部参数处于上限状态，因此无须调整参数，适应性强。该算法通过计算图像梯度信息，对比临近点之间的梯度值，将局部梯度极大值点定为锚点。确定锚点时，F(x，y)为像素点的对比值为F(x，y)=16G(x，y)2G(x+1，y)2G(x，y+1)2G(x 1，y)2G(x，y 1)2G(x，y 2)G(x+1，y 1)G(x+2，y)G(x+1，y+1)G(x，y+2)G(x 1，y+1)G(x 2，y)G(x 1，y 1)(1)式中:在 F(x，y)Fth(Fth为像素阈值)的条件下，G(x，y)被定义为锚点，相反则被定义为普通边缘点。92一种基于靶标识别定位算法的视觉测量技术求取出锚点后，EDPF 算法以一种独特的连接方式，将求取到的锚点连接，获得一个由众多边缘像素组成的边缘段，通过最小二乘直线拟合方法将这些边缘段拟合成直线段。得到众多直线段后，运用 Helmholtz 原理验证这些直线段是否有效，其指出，在随机情况下，偶然出现一个“具有意义”的几何结构事件的期望是非常低的9。该原理提出了误检数量(Number of False Alarms，NFA)的概念，若某一线段的长度为 n，在大小 N N 像素的图像中，至少有 k 个像素点与该线段同向，则该线段的 NFA 为NFA(n，k)=N4ni=kcknpi(1 p)ni(2)式中:N4为在大小 N N 像素的图像中可能存在的线段数，当 NFA(n，k)时，认为线段是有效的。Desol-neux 等10 也指出，这一步骤并非必要的。因为这一验证方法往往拒绝较短的线段，对于长线段则基本不会拒绝。因此当感兴趣的线段都是长线段时，可以略过这一步骤。2 2环形编码对角标志检测识别2 2 1圆弧段检测经过最小二乘直线拟合及 Helmholtz 原理验证后，得到了许多边缘线段。接着 EDCircles 算法提出了一种圆弧段检测方法，该方法通过判定，将满足条件的边缘线段拟合成弧段。算法提出，组成弧段需要至少 3条直线段。首先，依次计算相邻两条线段之间的夹角和方向，当至少有 3 条线段方向相同，且满足夹角阈值条件(6 60)10，则组合这些直线段为圆弧段。圆弧段检测原理如图 2 所示。图 2圆弧段检测原理示意图上述约束可通过向量的内外积计算，若向量集合为 v1，v2，vi，vn，其中，vi=(xi，yi)，vi+1=(xi+1，yi+1);则向量 vi与 vi+1之间的夹角 i和向量 vi的方向 signi可由式(3)计算得出:i=cos1(vi vi+1vivi+1)signi=sign(xiyi+1 xi+1yi)(3)图 2 中 1、2、7均大于 60，v3，v4，v5，v6，v7 组成一段弧，v1，v2，v8 被排除。2 2 2候选圆和椭圆检测提取出满足算法约束的弧段后，对弧段根据长短排序。随后从最长弧段开始，按照一定的圆拟合原则将圆弧段拟合成圆，具体的拟合原则遵循如下。半径差约束。两圆弧半径之间的差值小于较长圆弧半径值的 25%。圆心距约束。两圆弧的圆心之间的距离小于较长圆弧半径值的 25%。角度约束。待拟合圆弧段的长度至少达到拟合后圆周长的 50%。圆弧检测原理示意图如图 3 所示。图 3(a)满足圆心距约束，不满足半径差约束;图 3(b)满足半径差约束，不满足圆心距约束;图 3(c)满足圆心距约束和半径差约束，不满足角度约束。因此这 3 种情况下均不能成功拟合。图 3圆弧检测原理示意图完成圆的拟合后，其余弧段用来拟合椭圆。拟合椭圆的方法与圆拟合方法基本类似，不同的是在拟合椭圆时，半径差约束和圆心距约束的阈值均为 50%。2 2 3使用 Helmholtz 准则验证候选圆与椭圆在上一节介绍了 Helmholtz 原理验证直线段的方法。同样，Helmholtz 原理也适用于圆和椭圆的验证。扩展到椭圆验证中，若存在位于椭圆边缘上的点 P，该点的角度和该点对应圆切线的角度差小于 p，其中 p=1/n(即 p=/n)，认为点 P 和椭圆是对齐的。则椭圆的 NFA 为NFA(n，k)=N5ni=kcknpi(1 p)ni(4)当满足 NFA(n，k)时认为椭圆是有效的。2 3过滤干扰对象在实际测试环境中，针对不同的测试任务和测量目标，待测对象表面往往粘贴不止一种人工标志，因此能够准确地识别出目标靶标对后需测试任务的顺利完成尤为关键。本文通过上述步骤，得到候选圆和椭圆的图像后，通过靶标本身的结构特征对所有对象进行03测控技术 2023 年第 42 卷第 1 期筛选。在对编码标志识别时，产生透视形变的图像往往识别率及解码率较低。为了便于处理，首先，需要对所有椭圆进行透视变换，先校正为正圆;接着对正圆进行大津法(OTSU)二值化，根据靶标的结构特征(中心有个白色的圆，外部为黑色的圆)，过滤候选靶标。透视变换是将图片投影到一个新的视平面，也称作投影映射。其变换公式为 x，y，w=u，v，wa11a12a13a21a22a23a31a32a33(5)x=xw，y=yw(6)通过运算可得:x=xw=a11u+a21v+a31a13u+a23v+a33(7)y=yw=a12u+a22v+a32a13u+a23v+a33(8)式中:u、v 为原始图像坐标;x、y 为经透视变换后的图像坐标;变换矩阵为 3 3 矩阵。透视变换后，对图像进行 OTSU 二值化，然后根据靶标的结构特征(中心有个白色的圆，外部为黑色的圆，中心为对角标志)过滤候选靶标。2 4特征点定位经过筛选得到目标靶标，并对其进行定位。根据标志点的结构，首先通过求取内部白色圆的圆心实现粗定位，然后以粗定位结果作为初始位置，采用 Har-ries 角点检测算法实现亚像素级定位。该算法基本思想如下(如图 4 所示):首先，设定一个固定大小的窗口，如本文选择 5 5 的固定窗口;然后，在图像上以不同方向任意滑动窗口，比较窗口滑动时的灰度值变化。若窗口滑动到某一像素点或区域时，灰度值变化明显，则判定该像素点为角点或者区域内存在角点。图 4角点检测原理示意图图像在点(x，y)处平移(u，v)后的自相关性用E(u，v)表示为E(u，v)=(x，y)w(x，y)I(x+u，y+v)I(x，y)2(9)式中:w 为窗口函数;本文设置 w(x，y)为高斯分布，其原点位于窗口中心。这样如果窗口中心为角点，滑动窗口前后该点灰度变化非常剧烈;I(x+u，y+v)是平移后的图像灰度;I(x，y)为(x，y)处的灰度值;泰勒展开为I(x+u，y+u)=I(x，y)+Ixu+Iyv+O(u2，v2)(10)将式(10)代入式(9)可得:E(u，v)=(x，y)w(x，y)I(x，y)+Ixu+Iyv+O(u2，v2)u，v M uv(11)其中:M=(x，y)w(x，y)I2xIxIyIxIyI2y(12)矩阵 M 的两个特征值，与角点、边缘、平滑区域的关系如图 5 所示。图 5M 的特征值选择由图 5 可以看出，当两个特征值均比较大时认为图像被检测区域存在角点;当一个特征值大，一个特征值小时，认为其处在边缘区域;两个特征值均很小时，认为其处在平滑区域。最终 Harries 给出度量角点相应的数学模型:=detM k(trM)2(13)式中:k 为常量，取0 04 0 06。当 大于设定的阈值时，判定相应点为角点，并得到相应整像素级角点坐标。为进一步得到精确的角点坐标，进行高斯曲面拟合，求曲面的极值点，该点坐标即为高精度的角点亚像素级坐标。二维高斯曲面拟合公式为f(x，y)=Aexp(x x0)+(y y0)/(22)(14)一维高斯方程公式为f(x)=Aexp(x x0)/(22)f(y)=Aexp(y y0)/(22)(15)求得曲面极值点坐标(x0，y0)即为角点亚像素级坐标。2 5解码识别编码标志相比于非编码标志最大的优点就是具有独立的身份信息，通过对编码信息的提取，实现点位信息的一一对应，是视觉测量中重要的一环。对于本文来说，算法能否实现编码信息的准确解码，直接影响后13一种基于靶标识别定位算法的视觉测量技术续的点位匹配和三维信息测量工作。靶标编码信息由 12 个编码元组成环形编码信息带，每个编码元灰度值为白色(255)或黑色(0)。解码时，首先将正圆图像进行极坐标变换，提取编码环区域，呈现为一个竖条矩形图像。其中极坐标变换公式为xd=klg(xs xc)cos+(ys yc)sin2+L2S2(xs+xc)sin+(ys yc)cos2(16)yd=arctan(LS(xs+xc)sin+(ys yc)cos(xs xc)cos+(ys yc)sin)(17)式中:(xd，yd)为变换后的图像点;(xs，ys)为源图像的点;(xc，yc)为变换中心;L 为椭圆长轴;S 为短轴;为偏角。在变换后的矩形图中，从上往下扫描，获得每一段的黑白像素个数，由于标志是循环编码，当首尾都是相同颜色时，需要将首尾像素进行合并，计算合并调整后每段矩形图像素个数，求取该段的编码。解码原理示意图如图 6 所示。通过极坐标变换得到矩形编码信息带，最后得到的编码是 110010000000，对此编码求最小的十进制数是 19。图 6解码原理示意图通过解码算法，可获得采集到的图像数据中所有标记点的编码值，这样每个标记点就具有独一无二的身份信息，可以实现特征点的匹配。3实验验证为验证本文算法效果，设计了模拟实验和实测实验。硬件 环 境 为 计 算 机，处 理 器 为 Inter Core i5-8300CPU，操作系统为 Windows10，相机焦距为 8 mm，分辨率为1920 像素 1080 像素，软件环境为 Python37。3 1仿真实验为验证在多标志点识别时，本文算法能否过滤干扰点，对目标靶标准确识别解码，设计了仿真实验。实验中每幅图片均匀分布 25 个本文设计的编码标志及其他编码标志，如图 7 所示。对共计 200 幅图片进行识别，并统计本文算法的识别结果，如表 1 所示。表 1多标志点识别效果识别率误识别率解码率995%0 5%99%图 7识别效果图由表 1 可以看出，在对多标志点识别解码时，本文算法识别率达到 99 5%，正确解码率达到 99%，即便存在较多干扰靶标，该算法仍能够过滤干扰点，准确识别解码。其原因为:在圆弧检测时，该算法的判定原则科学有效，同时配合 Helmholtz 原理对拟合得到的圆进一步验证，极大地降低了干扰特征产生的影响。针对靶标特有的结构特征(中心有个白色的圆，外部为黑色的圆，内部为对角标志)，配合候选过滤算法，过滤候选靶标。在提取编码信息带的有效信息时，通过极坐标变换将正圆图像转换成矩形，保证了解码的准确率。3 2实测实验为验证拍摄角度及拍摄距离对本文算法识别解码效果的影响，实验对部分标志点按投影角度 0 80和拍摄距离 3 7 m 进行图像采集和识别，效果如图 8所示。实验中匀速改变靶标投影角度，从 0 80往复运动 3 次，高速相机以 60 f/s 的拍摄速度对靶标进行拍摄，共获得 300 幅图像。图 8识别效果图完成图像采集和识别后，分析图像数据并统计试验结果，得到投影角度、拍摄距离与识别率之间的关23测控技术 2023 年第 42 卷第 1 期系，如图 9 所示。图 9投影角度、拍摄距离与识别准确率之间的关系可见在一定的拍摄距离下，投影角度对靶标识别准确率的影响较大。在投影角度小于 60时，本文算法的识别准确率达到 100%;当角度大于 60时，算法的识别准确率下降，当投影角度为 80时，靶标识别率依然能够达到 92%。为验证本文算法在复杂环境下的检测和解码效果，在实验室中将本文设计的 5 个不同 ID 的环形编码对角标志与多种其他编码标志与非编码标志混合，并按照不同角度与布置。通过相机采集图像并用算法进行检测解码，实验效果如图 10 所示。图 10复杂环境下算法的检测解码效果由图 10 可以看出，算法能够在复杂的环境中准确识别出 5 个环形编码对角标志，且能准确检测出节点，正确解码。本文设计的环形编码对角标志和相应的视觉测量技术已在某旋翼测量地面实验中应用。实验基于本文所提技术，实现旋翼桨叶上特征点的追踪和定位。旋翼测量地面试验检测效果图 11 所示。图 11旋翼测量地面试验检测效果地面实验中图像投影角度约为 60，靶标距离相机约 3 5 m。由图 11 可以看出，在旋翼测量地面试验中，所有靶标全部准确识别，检测效果良好。为验证标记点重复定位精度，设计实验对同一标记点进行多个角度多次拍摄，检测其关键特征点的亚像素坐标。选取 2 个角度，角度一为 15，角度二为45。每个角度拍摄 20 幅图像，计算并统计其重复精度，如图 12 和图 13 所示。图 12角度一拍摄下重复定位精度图 13角度二拍摄下重复定位精度对图 12、图 13 的实验数据进行统计，得到实验重复定位精度统计结果如表 2 所示。表 2重复定位精度统计统计内容角度一X 坐标Y 坐标角度二X 坐标Y 坐标均值89955545448153851563最大值89958545458154551565最小值89951545438153451559最大最小差0070 02010005由表 2 可以看出，X 坐标重复定位误差优于 0 1px，Y 坐标重复定位误差优于 0 05 px，总体重复定位误差优于 0 15 px，可见该技术具有较高的定位精度。4结束语在飞行试验测试任务中，能否通过视觉测量的手段有效获取被测物的信息，直接影响后续任务的进展，因此对飞行试验来说，实现对多标志的稳定识别及高精度定位意义非凡。针对飞行试验测试任务需求，设计了一种易于识别和高精度定位的环形编码对角标33一种基于靶标识别定位算法的视觉测量技术志，提出了一种基于 EDCircles 的环形编码对角标志识别和定位算法的视觉测量技术。试验结果表明，该视觉测量技术识别准确、鲁棒性强、定位精度高，能够有效解决多标志点识别定位存在误识别、定位精度低等问题，可以满足飞行试验测试任务中对关键目标实现稳定识别跟踪的任务需求。参考文献:1段康容，刘先勇 摄影测量中编码标记点检测算法研究 J 传感器与微系统，2010(8):74 77DUAN K，LIU X Y esearch on coded reference pointdetection in photogrammetry J Transducer and Microsys-tem Technologies，2010(8):74 77(in Chinese)2刘建伟，梁晋，梁新合，等 大尺寸工业视觉测量系统 J 光学 精密工程，2010(1):126 134LIU J W，LIANG J，LIANG X H，et al Industrial visionmeasuring system for large dimension work-piecesJ Op-tics and Precision Engineering，2010(1):126 134(inChinese)3解则晓，高翔，朱瑞新 环状编码标记点的高效提取与鲁棒识别算法 J 光电子激光，2015(3):559 566XIE Z X，GAO X，ZHU X Efficient extraction and robustrecognition algorithm of circular coded target J Journal ofOptoelectronicsLaser，2015(3):559 566(in Chinese)4倪章松，成垒，顾艺，等 视觉测量中环形编码标志点的精确识别算法研究 J 新技术新工艺，2016(12):21 25NI Z S，CHENG L，GU Y，et al esearch on detection algo-rithm of circular coded reference point in vision measure-ment J New Technology New Process，2016(12):21 25(in Chinese)5熊雪菲，尚洋 基于双目视觉测量系统的编码标志点的检测与重建 J 实验力学，2020(5):771 780XIONG X F，SHANG Y Detection and reconstruction of co-ded target based on binocular stereo vision systemJJournal of Experimental Mechanics，2020(5):771 780(inChinese)6黄雪梅，苏新勇，朱明健 基于寻找最佳起始点的编码标志点解码研究 J 机械设计与制造，2015(2):77 80HUANG X M，SU X Y，ZHU M J Decoding method for en-coded target based on finding the optimal initial point indigital close-range industrial photogrammetryJ Machin-ery Design Manufacture，2015(2):77 80(in Chi-nese)7张小迪，崔海华，程筱胜，等 一种基于同心圆的环形编码标志设计与检测J 机械制造与自动化，2020(2):133 136ZHANG X D，CUI H H，CHENG X S，et al Design and de-tection of circular coded marker based on concentric circles J Machine Building Automation，2020(2):133 136(in Chinese)8AKINLA C，TOPAL C EDCircles:a real-time circle de-tector with a false detection controlJ Pattern ecogni-tion，2013，46(3):725 740 9AKINLA C，TOPAL C EDContours:high-speed parame-ter-free contour detector using EDPFC/IEEE Interna-tional Symposium on Multimedia 2012 10DESOLNEUX A，MOISAN L，MOEL J M Meaningful a-lignmentsJ International Journal of Computer Vision，2000，40(1):7 23征 稿 启 事测控技术 于 1982 年创刊，月刊，国内外公开发行，是由中国航空工业集团有限公司主管，北京长城航空测控技术研究所主办的学术期刊。测控技术 为中国科技核心期刊，被中国核心期刊(遴选)数据库、中国学术期刊综合评价数据库、中国期刊全文数据库、中文科技期刊数据库、中国学术期刊(光盘版)全文收录期刊、中国科技期刊文摘数据库英文版入库期刊、日本科学技术振兴机构数据库(JST)等收录。关注测控技术热点，崇尚科研创新，倡导科学严谨，注重学术质量。栏目全新改版，诚邀您投稿!常设栏目:综述 智能感知与仪器仪表数据采集与处理 试验与测试计算机与控制系统不定期栏目:大家论坛 模式识别(先进算法)与人工智能机器人技术与应用 网络技术与应用虚拟现实技术 飞行器控制兵器科学技术与运用 理论专栏联系电话:[phone]投稿网址:www mct com cn通信地址:北京亦庄经济技术开发区经海二路 29 号院 9 号楼邮政编码:10111143测控技术 2023 年第 42 卷第 1 期