一种基于图像处理的舰载无人机识别定位方法.pdf

第45卷第16 期2023年8 月舰船科学技术SHIP SCIENCEANDTECHNOLOGYVol.45,No.16Aug.,2023一种基于图像处理的舰载无人机识别定位方法张佰顺12，张娜，马晓静2(1.海军潜艇学院，山东青岛2 6 6 199；2.山东大学，山东青岛2 6 6 2 37)摘要：舰载无人机的自主降落问题越来越受到重视，图像处理方法以其高精度、低成本的优势受到青睐。首先研究在图像中无人机提取算法，用最大类间方差法对提取后图像进行处理，然后基于霍夫直线检测算法，通过对处理后图像进行霍夫直线变换将图像空间的点变换到霍夫空间，从而找出图像空间的直线，进一步标示无人机位置。最后，通过试飞无人机实地测试检验该算法的准确性及稳定性。结果表明，该检测方法准确度高，速度快，在210 m 范围内均有良好的检测精度，验证了基于图像处理识别定位无人机的可行性，为舰载无人机精准降落奠定了技术基础。关键词：图像处理；无人机；识别定位；霍夫变换中图分类号：V279+.2文章编号：16 7 2-7 6 49(2 0 2 3)16-0 0 7 5-0 5Design of a shipborne UAV identification and positioning method based on image processing(1.Navy Submarine Academy,Qingdao 266199,China;2.Shandong University,Qingdao 266237,China)Abstract:More and more attention has been paid to the autonomous landing of carrier-borne UAVs.The image pro-cessing method is favored because of its advantages of high accuracy and low cost.First studied the unmanned aerial vehicleextraction algorithm in the image,with the most between-cluster variance method to deal with after extraction of the image,and then based on Hough linear detection algorithm,based on the processed image Hoff linear transform of the image spacetransformation to Hoff space,so as to find out the image space of straight line,further labeled unmanned aerial vehicle posi-tion.Finally,the accuracy and stability of the algorithm are verified by the field test of flying UAV.The experimental resultsshow that the detection method has high accuracy,fast speed and good detection accuracy in the range of two meters to tenmeters,which verifies the feasibility of machine vision positioning UAV and lay the technical foundation for the preciselanding of carrier-based UAVs.Key words:image processing;UAV;identification and localization;Hough transform0引言无人机具有生存能力强、机动性能好、飞行环境要求低等优点，广泛应用于空中侦察、战场监视、远程打击等，在现代海军装备中，舰载无人机能够有效避免不必要的人员伤亡!。无论民用领域还是军工领域应用均具有广阔前景，随之出现自动起落以及自动执行任务无人机，为了配合无人机自动起落，需要系统配备可供无人机起落的地面站，无人机识别定位技术成了无人机自动精准降落技术的重点所在 2-3。本文基于图像处理方法，采用“地对空”的方式收稿日期：2 0 2 2-0 9-12基金项目：海军潜艇学院青年基金科研项目（HJQTXY20220216）作者简介：张佰顺（1992 一），男，硕士，讲师，研究方向为控制理论与控制工程、自动控制技术等。文献标识码：AZHANG Bai-shun2,ZHANG Na,MA Xiao-jing?doi:10.3404/j.issn.1672-7649.2023.16.015捕捉无人机位置，并对无人机进行引导，实现无人机识别定位。其工作流程大致为：地面站摄像头首先采集地面站处背景图片，并对该图片进行相应的处理，待后续提取无人机使用；待无人机进人视野，受到引导请求之后，拍摄无人机图片并进行相应处理，与之前背景差图片作差以提取无人机；将背景差图像应用最大类间方差法进行二值化处理；对该二值化图像进行霍夫变换，将符合条件的点通过霍夫直线变换变换到霍夫空间，对霍夫空间的点进行统计，得到图像空间直线的极坐标表示；对符合条件的极坐标点按正交76关系进行分类，剔除无用的点，并进行坐标反变换将极坐标变换成图像空间的直线，通过计算2 条直线相交点来确定无人机在图像中的坐标。该方法将摄像头置于地面站中心，拍摄无人机照片，并识别无人机在图像中的位置，进一步计算无人机相对于地面站的方位与距离，从而达到无人机精准降落的目的。本文首先介绍背景差原理，并应用此原理将无人机与背景图像分离；然后介绍最大类间方差法及其原理，从原理入手将背景差图像处理成可用于霍夫变换二值化图像。从二值化图像出发，对霍夫直线变换进行详细分析，并将其应用到上述二值化图像，得到检测出无人机中心位置的算法，为无人机的精准降落提供技术基础。1无人机图像提取处理从图像识别入手，将摄像头放置在舰船甲板地面站，通过拍摄无人机方式定位，并以无线通信方式发送其位置到无人机，作为无人机调节位置的反馈，以达到无人机精准降落目标。背景差法是目前针对运动物体检测的常用方法之一，将2 幅图片抽象为像素矩阵，矩阵元素相减，得到2 个矩阵差分矩阵，即是2幅图片进入背景图中物体图片。当被检测目标进入背景时，采集到的图像与背景之间便在物体周围产生差值，通过两者作差即可提取出该物体，实现物体与背景分离的目的 4。1.1背景分离预处理背景差法是对像素作差，要求像素点表征该像素颜色深度信息。由于拍摄到的图片为RGB三通道BMP格式图像，因此对图片进行背景作差之前需要将其转化为单通道灰度图 5。对于RGB空间数据，可以通过相应公式将其归一化到灰度空间，常用的灰度值计算公式有：GRAY=(R2-2 0.2126+G2-2 0.7152+B2-2 0.0722)2,(1)GRAY=(R2-2 0.2973+G2-2 0.6274+B2 0.0753)2(2)式中：R为红色数据，G为绿色数据，B为蓝色数据。式（1）为简化的sRGBIEC61966-2.1=2.20公式，式（2）为AdobeRGB(1998)=2.20公式。对于本文系统，由于计算速度的需要，可以将式（2）简化为简单的乘法运算：GRAY=R0.299+G0.587+B0.114。舰船科学技术进一步，可以将式(3)简化为移位运算：GRAY=(R38+G75+B15)7。式中：R为红色数据；G为绿色数据；B代表蓝色数据。由式（4）将RGB彩色图像处理成灰度图，如图1所示。转化而来的灰度图像会保留原图像色度信息，无人机与背景差异明显，为无人机与背景的分离打下良好基础。图1彩色RGB图像转化为灰度图Fig.1 Convert color RGB image to grayscale1.2背景差图像处理图像阈值自动选取选择使用最大类间方差法。能够很好地保留图像的边缘信息，避免过度分割，分割效果理想。地面站在收到无人机返航请求时会先拍摄一张背景图片。当无人机降落时，地面站会在收到引导请求后拍摄一张无人机在当前视野中的图片，通过对当前图片与背景图片的差分，实现无人机与背景的分离间。1.2.1最大类间方差法算法原理对于被检测目标图像I(x,)前景和背景分割阈值记为T，属于前景像素点数占整幅图像比例记为Wo，其平均灰度o；背景像素点数占整幅图像比例为w1，其平均灰度为1。图像的总平均灰度记为，类间方差记为g。假设图像背景较暗，并且图像大小为MxN，图像中像素的灰度值小于阈值T的像素个数记作No，像素灰度大于阈值T的像素个数记作N1，则有：NoN1Wo=W1=MXNMXN(3)No+Ni=MxN,第45卷(4)wo+W1=1,第45卷g=wo(o-)+w1(1-m)2。得到等价公式：g=woW1(uo-1)2。基于遍历方法得到使类间方差最大阈值T，即为所求。1.2.2算法处理图像实现最大类间方差法实现过程如下：设待分割图像为f(x)，图像的灰度变化范围为 0,L-1，n;为灰度为i的像素数目，N为图像的总像素数，N=Zni，p i 为灰度级出现的概率，门限t将图像划分为：Co=0,.t),Ci=(t+1,.,L-1),若f(x)t，则(x,y)EC1。对图像的直方图进行归一化得测灰度级的概率分布：P=岁 P/0.2P=-1。Co、Ci 类出现的概率为：Ppo()=Zpi,Pl()=i=0ipi均值分别为：uo(t)=Po(t)i0图像总体灰度值为：UT=由公式可求得Co、Ci 的方差为：POi=0定义类间方差为：,?(t)=po(uo-ur)?+pi(ul-ur)。定义类内方差为：8?(t)=Po002+P10f2。定义总体方差为：r2()=Z(i-ur)picL-1i=0三者有关系：5T2=6?+8/2。式中：8 2、8 2 为门限t的函数，8 f2与t无关，通过最大化类间方差8？确定图像的最佳阈值T，即T=arg max8j=arg maxpo(t(uo-ur)+po(t)(uo-ur)。张佰顺，等：一种基于图像处理的舰载无人机识别定位方法=woo+wi x1,L-1i0nii=+1ui(t)=(i-ui)piP1i=t+177.由此，即可得到计算一幅图像二值化阈值的算法实现。应用该算法处理得到的图片如图2 所示。白色为无人机，黑色为背景。可见，应用OTSU算法可以正确地实现无人机与背景的分割。图2 OTSU算法处理图像Fig.2 OTSU algorithm to process images2无人机识别定位2.1霍夫直线变换算法原理霍夫变换(Hough transform)在图像处理中进行特征提取，将图像空间点变换为霍夫空间，并对霍夫空间中点进行累加，累计结果局部最大值将得到一个符合特定形状的集合，霍夫变换目前可用于任意形状物体的识别 7。一条直线在笛卡尔坐标系中可由参数斜率和截距(m,b)表示，在极坐标系下由参数极径和极角(r,)表示。已知直线在笛卡尔坐标系中的表达式为：y=mx+b。变换到其极坐标系表示：ry=sinX+sind化简可以得到：r=xcos+ysing。对于直角坐标系中的点(xo,yo），可以将通过这个点的一族直线统一定为：r=xocos0+yosing。在极坐标系下，每一对(re,)值代表直角坐标系下一条通过点(xo,yo)的直线。霍夫变换将图像空间中符合条件的点变换到极坐标系，将极坐标系离散化，通过追踪图像空间每个点对应曲线的交点，交点曲线数目超过阈值，代表参数对(re,)在图像空间中是一条直线。将极坐标(re,)代入即可得出原图像中直线，进而将其绘制在原图像中。根据算法原理进行检测图像中直线，霍夫直线检测具体的实现流程如图3所示。应用霍夫直线变换检测到的直线如图4所示。78Fig.3Hough line transform algorithm implementation processFig.4 Line detected by Hough transform图4中最长30 条直线所在位置，全部位于无人机旋翼臂附近，发散情况因旋翼大小及摇摆方向而有所差异，均在可接受范围内。2.2无人机位置确定根据极坐标确定无人机位置，设定一个阈值，若落在该阈值里面的一族直线值与另一族直线值相差1/2 个霍夫空间宽度，则可认为这2 族直线正交。舍去阈值之外的(r,)参数对，对阈值之内的2 族参数对(r,)分别取平均，得到2 对参数(r1,01）和(r2,02)，分别对应图像空间中一条直线。将该参数对代人便可以得到2 条直线的解析表达式，2 条直线的交点(xo,yo)即无人机中点坐标位置。应用该方法可有效检测无人机坐标，误差范围小，检测精确，可排除噪点干扰 7 。其效果如图5所示。可以看出，检测计算中心点与无人机实际中心点基本重合。3系统实验测试采用大疆M100开发者套件作为目标无人机进行舰船科学技术建立一个离散的霍夫空间离散霍夫空间量化为mxn个单元为霍夫空间中每个元素分配一个累加器将值为2 55的点坐标代入到公式，取=0,1,.180，并计算与值相对应的的值在霍夫空间找到计算得出的和值的对应单元，并将该单元对应的累加器加1遍历图像空间，并将符合条件的点一一代入到公式，并对累加器中的值进行更新大到小统计累加器中的值，并按序返回超过阈值的累加器所对应单元的值和值图3霍夫直线变换算法实现流程图4霍夫转换检测到的直线第45卷图5霍夫变换得到的无人机中心点Fig.5The center point of the drone obtained by theHough transform实验测试，其搭载的可扩展飞行平台，可实现外部设备接入，开发方便，稳定性高，为测试提供了稳定的检测目标。摄像头采用罗技C270摄像头，罗技FluidCrystal技术算法可以自动调节顿率、颜色和清晰度等，从而使得拍摄的画面更加清晰。此外，Right-Light技术可以自动适应光线，使其可以适应户外多变的天气条件，为图像可靠采集提供便利。针对该方法做了不同情况下的实验，测试了其在不同干扰下识别无人机的可靠性。经实验可知，本文方法可行有效，识别无人机准确可靠，能有效排除杂物干扰，且对天气有一定的适应性。由图6 可知，图像中云的分布不均匀，且有大块灰色区域，然而背景差方法依然能够准确地提取无人机，且能准确识别。说明该方法对天气情况有一定的适应性，可以保证复杂天气情况下任务的顺利执行。由图7 可知，存在杂物、噪点干扰情况下，图像中存在若干大小不一的噪点以及与无人机大小相似的杂物，虽然背景差无法去除该噪点和杂物，但是霍夫图6 多云干扰情况下识别无人机Fig.6Identifying UAVs in cloudy interference第45卷直线变换依然不受其影响，有效、准确地识别出了无人机中心位置。说明该方法对噪点及杂物干扰有较强的适应性，可有效排除噪点干扰，可在大风、脏乱的地方执行无人机降落任务，且准确识别无人机。张佰顺，等：一种基于图像处理的舰载无人机识别定位方法79无人机刚进入视野中时便锁定无人机，并对无人机进行实时锁定，保证无人机降落准确。4结语针对舰载无人机精准降落技术一无人机识别定位问题进行研究，提出基于图像处理的地面站摄像头定位法，采用摄像头拍摄无人机并识别的方法定位无人机，然后通过无人机相对于图像中点的方法进行位置调节，达到无人机精准降落的目的。由于使用了静态背景图像，在极端恶劣天气下可能因为天气变化太大、乌云运动等因素妨碍无人机与背景的分离，导致不能有效识别无人机，从而无法对无人机进行有效引导。需要在后续工作中引人动态背景算法，以提高该方法的适应性，提高无人机精准降落的可靠性。参考文献：1】杨喻茸.基于视觉信息引导的舰载无人机精确着舰技术研究D.南京：南京航空航天大学,2 0 18.2梁磊，肖静，邓扬晨.舰载无人机着舰技术现状及发展趋势图7 噪点干扰情况下识别无人机.西安航空学院学报,2 0 2 0,38(5):2 3-2 8.Fig.7 Identifying drones in the presence of noise interferenceLIANG Lei,XIAO Jing,DENG Yangchen.Status quo and de-由图8 可知，在无人机残缺情况下，该方法依然velopment trend of shipborne uav landing technologyJj.Jour-可以准确识别无人机中心点方位。说明该方法可以在nal of Xian Institute of Aeronautics,2020,38(5):23-28.3赵君爱.计算机视觉技术在无人机着舰控制中的应用 .舰船科学技术,2 0 2 2,44(3):16 5-16 8.ZHAO Junai.Application of computer vision technology inUAV landing controlJ.Ship Science and Technology,2022,44(3):165168.4】侯青，颜鹏，孙静，等.基于最优阈值的叶类中药边缘检测算法研究 J.信息技术,2 0 14(2):6 9-7 2.HOU Qing,YAN Peng,SUN Jing,et al.Research on edge de-tection algorithm of leaf traditional Chinese medicine based onoptimal thresholdJ.Information Technology,2014(2):69-72.5孙欢欢，程耀瑜，冀钰.改进OTSU算法和边缘检测的图像分割算法研究 J.山西电子技术,2 0 14(2)：8 2-8 4.SUN Huanhuan,CHENG Yaoyu,JI Yu.Research on image seg-mentation algorithm improved OTSU algorithm and edge detec-tionJJ.Shanxi Electronic Technology,2014(2):82-84.6王艳红.基于OpenCV的运动目标检测与跟踪算法的研究D.杭州：杭州电子科技大学,2 0 14.图8 识别残缺无人机7】马晓静.无人机自主任务系统的研发与实现 D.济南：山东Fig.8 Identifying Mutilated Drones大学,2 0 17.