基于改进YOLOv3的无人...载激光雷达图像目标定位方法_柴群.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-07-23基金项目:贵州省普通高等学校青年科技人才成长项目(No.黔教合KY2020187)作者简介:柴群(1979-),男,硕士,副教授,研究方向:计算机视觉。基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法柴 群,李俊杰,梁剑波凯里学院大数据工程学院,贵州 凯里 556011摘 要:为提升无人机机载激光雷达图像小目标定位的精度,提出基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法。基于 MCA 算法分割激光雷达图像信息,通过包含脊小波字典的稀疏表达重新构建图像信息,达到去除目标图像噪声的目的;通过变化检测技术分离目标区域聚类信息,将目标区域从背景区域中分离;将目标区域输入到优化后的 YOLOv3 算法中完成无人机机载激光雷达图像目标的定位。实验结果表明,所提算法的定位精度为 95.1%,定位耗时平均为 20.6 s。关键词:激光雷达图像定位;MCA 算法;变化检测技术;置信度函数;改进 YOLOv3 算法中图分类号:TN713 文献标识码:A doi:10.14016/ki.jgzz.2023.04.202Target localization method of UAV airborne lidar image based on improved YOLOv3CHAI Qun,LI Junjie,LIANG JianboBig Data Engineering College,Kaili University,Kaili 556011,ChinaAbstract:To improve the accuracy of small target location in UAV airborne lidar image,a target location method based on improved YOLOv3 is proposed.Based on MCA algorithm,the lidar image information is segmented,and the image information is reconstructed by the sparse expression including ridgelet dictionary to remove the noise of the tar-get image.The cluster information of that target area is separated by the change detection technology,and the target area is separate from the background area.The target area is input into the optimized YOLOv3 algorithm to locate the target of UAV airborne lidar image.Experimental results show that the positioning accuracy of the proposed algorithm is 95.1%,and the average positioning time is 20.6 s.Key words:lidar image positioning;MCA algorithm;change detection technology;confidence function;im-proved YOLOv3 algorithm1 引言合成孔径雷达技术与人工智能结合的研究在过去几十年中取得巨大进步,并被广泛应用在航海、军事、航空等领域1-2,至今仍是国内外学者研究的重点问题。但其在针对无人机等遥感小目标检测时,仍存在识别完整度低及精确度低的问题,因此,提出研究图像目标定位方法,以为现实应用带来更方便快捷精准的工作方法。徐志京3等人首先构建针对小目标的 I-VGGNet特征提取网络,其次通过金字塔网络模块的融合,加强了图像目标的定位特征及语义特征,最后构建损失函数降低目标敏感度,完成激光雷达图像的目标定位。该方法目标定位精度不够准确。徐英等人4首先通过多尺度特征分割目标图像得到二值图像,利用DRGAN 模型将激光雷达图像编码量化四角像素,最后基于 SVM 训练样本灰度特征得到激光雷达图像的目标定位。该方法目标检测完整度较低。郑锴5等人首先构造定位目标线性化的增广矩阵,其次通过奇异值分解法计算出激光雷达图像坐标,最终通过平差计算成像模型获得目标定位信息。该方法存在检测效果不佳,检测效率低的问题。针对上述方法的问题,提出基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法。对于采集http /的激光雷达图像中含有大量噪声的问题,引入形态学成分分析(morphological component analysis,MCA)算法,对图像的边缘信息、纹理信息与光滑信息进行重构,减少图像的冗余度;考虑到背景遮挡等问题,利用全局分布式恒虚警(constant false alarm rate,CFAR)算法进行 目 标 区 域 聚 类 分 析,并 进 一 步 采 用 改 进YOLOv3 算法使预测目标更精准贴合真实目标,完成目标精准定位。并通过实验验证了该方法具有快速、准确的目标定位性能。2 无人机机载激光雷达图像目标定位2.1 图像去噪传统的波滤方法在对激光雷达图像完成去噪处理时不能够很好地保留图像的边缘与细节纹理信息6-8,故采用一种新的基于 MCA 的激光雷达图像去噪处理方式。首先分割激光雷达图像边缘信息、纹理信息与光滑信息,然后通过包含脊小波字典完成图像的稀疏性表达9-10,最后恢复稀疏性表达分离出来的图像边缘信息、纹理信息与光滑信息重构激光雷达图像,达到抑制无人机机载激光雷达图像噪声的效果11。依据激光雷达图像非噪声部分含有多种信号特征,设 SAR 图像?c 公式表达如下:?c=?ca+?cy+?cr(1)其中,?ca、?cy、?cr分别表示图像的不同种类的边缘、纹理、平滑信息。基于 MCA 算法,即利用稀疏表达分离图像边缘、纹理、平滑部分信息,其超完备字典的稀疏性表达如下:?ca=aa?cy=yy?cr=rr|(2)其中,a,y,r表示此超完备字典组合基,a、y、r分别表示边缘、纹理、平滑信息部分基。求解变分问题,估计出图像边缘、纹理、平滑信息的稀疏表示的最优解a,y,r:a,y,r=argmin a1+y1+r1+TV(Faa)+12?U-aa-yy-rr22|(3)其中,TV 表示图像平滑信息的总方差,表示均衡参数,?U 表示含噪图像,F 表示不含噪声图像,表示变量系数。输入原始含噪图像?U,设置初始稀疏系数 =1,初始迭代次数 l=1,图像冗余度 to=?U-aoa-yoy-ror,更新估计图像边缘、纹理、平滑系数,其公式如下:?la=yaJD(JTa?la)la=d/r1vTa(tl-1)+l-1a()ly=d/r1vTy(tl-1)+l-1y()lr=d/r1vTr(tl-1)+l-1r()|(4)其中,J 表示图像熵,D 表示平均码长,d/r表示编码效率,t 表示冗余度,v 表示均值。重复上述操作,更新激光雷达图像冗余度,直到达到满足收敛准则。得到去噪后的激光雷达图像 r?c公式表达如下:?C=aa-yy-rr,c=r?c(5)2.2 图像区域检测在对激光雷达图像去噪后,基于变化检测技术完成激光雷达图像的目标区域检测。由于无人机机载激光雷达观测时,周围存在复杂物体杂波的干扰,大大降低了目标识别检测效率,故采用全局 CFAR 算法对无人机机载激光雷达图像实行聚类处理12-13。首先通过目标切片及背景切片的变化检测,得到粗略的目标区域,其次通过对目标区域的聚类分析,将目标区域从背景区域中分离。在粗略目标切片上,其中心区域信息为目标区域,四角区域信息为杂波区域,计算其四角区域的杂波均值14,公式表达如下:1=1QQQo=1Qk=1o(o,k)2=1QQQo=1Mk=M-Q+1o(o,k)3=1QQQo=M-Q+1Mk=1o(o,k)4=1QQQo=M-Q+1Mk=M-Q+1o(o,k)|(6)其中,o(o,k)表示一个大小为 MM 的切片区域像素,杂波区域正方形边长为 QQ,其背景杂波区域均值 表达公式如下:=1+v2+v3+v44(7)利用背景杂波及原始切片构建似然化变化测量值(o,k),其公式表达如下:(o,k)=o(o,k)+1+o(o,k)+1(8)其中,(o,k)=1,2,Q。将变化测量值实行线性变换,形成标准灰度图像差异数据。通过 KSW 熵算法分割变化测量值,完成阈值选取,其步骤如下:302柴群,等:基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法http /设 Pl,l=0,1,255 表示灰度级 l 的出现概率,划分阈值 Y 为未变化和变化两类 wm、wr,其像素灰度分布表达公式如下:wm:P0PY,P1PY,PYPYwr:PY+11-PY,PY+21-PY,PY+31-PY|(9)其中,P 表示累积概率。其分布对应熵 J 公式表达如下:Jm(Y)=-Yo=0PoPYlnPoPY=lnPY+JYPYJr(Y)=-Z-1o=Z+1Po1-PYlnPo1-PY=J-JY1-PY+ln(1-PY)|(10)将两者相加,得到差异激光雷达图像熵15公式表达如下:J(Y)=lnPY(1-PY)+J(Y)PY+J-JY1-PY(11)取其最大值为最佳阈值,当阈值大于灰度值时,此像素记为 0,当阈值小于灰度值时,此像素值记为1,最终完成二值图像的分割,其中像素值为 1 的图像区域为目标区域。2.3 图像目标定位将上述得到的无人机机载激光雷达图像目标区域输入到改进 YOLOv3 算法中,完成最终的目标定位16-17。传统的 YOLOv3 算法在遥感小目标检测方面存在不足,因此,改进置信度损失函数以减缓样本分布不均问题,引入 K-means-T 算法优化 Anchor,以提升预测框与无人机机载目标的重合度,结合 CA 模块来增加 YOLOv3 算法的感知能力。将激光雷达图像的真实框参数与预测框参数代入损失公式,得到无人机机载激光雷达图像损失函数表达如下:Loss=coordd2o=0nk=0oobjok(cko-cko)2+(uko-uko)22-ekojko+coordd2o=0nk=0oobjok(cko-cko)2+(uko-uko)22-ekojko+d2o=0nk=0oobjok-ln(Pv)+mo=1BCE(vo,vo)+coorjd2o=0nk=0ocoorjok-ln(1-Pv)|(12)其中,(cko,uko)表示真实目标的中心坐标调整参数,(cko,uko)表示预测目标的中心坐标调整参数,e 表示真实目标预测宽,j 表示真实目标预测的高,e 表示预测框的宽,j 表示预测框的高,ocoorjok表示负样本掩码,oobjok表示正样本掩码,其值为 1 时,该点负责预测目标,其值为 0 时,该点不负责预测目标,vo表示预测种类置信度vo表示种类标签,coorj表示负样本惩罚权重,coord表示正样本惩罚权重,Pv表示样本置信度。2.3.1 置信度损失函数的优化进一步计算得到置信度损失函数 Zcont,其表达公式如下:Zcont=-ln(Pv),labet=1-ln(1-Pv),labet=0(13)优化置信度损失函数 Zcont-c以增加低分样本的权重困难,降低高分样本的权重困难,提高检测准确率,其公式表达如下:Zcont-c=-21Pv+-1()|ln(Pv),label=1-11Pv+-1()-1|ln(1-Pv),label=0|(14)其中,表示 sigmoid 函数,表示最小常数。2.3.2 Anchor 的优化设定 3 个距离函数子集,改用 IOU 距离公式 f(AB,GTB)替换传统的 YOLOv3 算法中的欧式距离,使目标预测框更接近真实预测框距离 f(AB,GTB),其公式表达如下:f(AB,GTB)=1-IOU(AB,GTB)(15)基于 K-means-T 算法优化图像聚类,在多尺度训练中缩放预测框范围 e,其公式表达如下:402柴群,等:基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法http /e1=eoer=ereo=eo-e1er-e1(er-e1)+e1jo=eojoeo|(15)e9=e9ev=eveo=eo-eve9-ev(e9-ev)+evjo=eojoeo|(16)其中,e1-e9,j1-j9表示缩放前预测框的宽与高,e1-e9,j1-j9表示缩放后预测框的宽与高,er表示中心预测框的宽,o 表示第 o 个预测框 eo的宽,、表示缩放因子,当 ov 时,依据式(16)完成预测框的缩放。最终得到 9个优化 Anchor,增强了多尺度训练中网络模型的泛化能力和鲁棒性,使预测目标更精准贴合真实目标。2.3.3 CA 模块引入 CA 模块,提升方向、位置敏感信息,更精准定位目标。CA 模块采用尺寸为(J,1)、(1,E)的卷积核实行正交编码操作,分解全局池化 Xv公式表达如下:Xv =1J Ejo=1ek=1cv(o,k)Xjv(j)=1E1oEcv(j,o)Xev(e)=1J1kJcv(k,e)|(17)其中,c 表示输入张量,Xjv、Xev 表示方向特征信息。这种具有方向信息的特征向量有利于精准定位感兴趣目标。采用 concatenate 操作处理方向特征信息,最终得到 CA 模块 Uv(o,k)输出公式表达如下:Uv(o,k)=cv(o,k)hj(o)he(k)(18)其中,hj、he表示预测框正交表征。将得到目标预测区域输入至优化的 YOLOv3 算法中,得到最终的无人机机载激光雷达目标的精准定位18。3 实验与分析为了验证基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法的整体有效性,对其完成如下测试。选择处理器为 I7-10700F、内存为 32 G、显卡为 NVIDIA GeForce GTX 1620Ti 的电脑配置,在 Dark-net 深度学习框架中完成实验测试。设置初始学习率为 10-3,异步随机梯度下降动量为 0.9,权重系数为 510-5,subdibisions=16,batch=32,训练 batch=16。输入符合 YOLOv3 算法要求尺寸为 416416 大小的图像。采用所提方法、文献3方法、文献4方法和文献5方法,对其完成测试如下:3.1 网络训练模型分别在简单交通路口与复杂交通路口,对所提方法、文献3方法、文献4方法和文献5方法完成300 000 次迭代训练,实验表明,当迭代次数超过某值时,训练结果出现拟合现象,选择 30 000 次迭代后保存一次图像权重文件以方便实验操作,对所提方法、文献3方法、文献4方法和文献5方法的前 1 500 张图像实行权重测试,计算其召回率 T,公式表达如下:T=Yp(Yp+GM)(19)其中,Yp表示目标检测正确个数,GM表示未检测出的目标个数,得到检测结果如下表 1 所示:由表 1 数据可知,所提方法的最佳迭代次数在 220 000 次左右,召回率达到了 95.21%,文献3方法、文献4方法和文献 5 方法的最佳迭代次数分别在 260 000、290 000 和 220 000 次左右,召回率分别为 91.63%、90.96%和 85.91%,表明所提方法的目标检测效果好,可以用较低的迭代次数达到较高的召回率。表 1 召回率与迭代次数对比迭代次数所提方法文献3方法 文献4方法 文献5方法190 00093.16%85.26%87.32%82.57%220 00095.21%89.62%90.65%85.91%260 00092.61%91.63%88.85%80.67%290 00090.65%87.99%90.96%85.69%3.2 目标定位精度对比选用所提方法、文献3方法、文献4方法和文献5方法的最佳迭代次数在混合模型中实行目标检测对比测试,其检测精度对比结果如图 1 所示:由图 1可知,不同方法的目标检测精度在不同的目标检测数量下,呈现下降的趋势。但本方法的检测精度持续高于文献3 方法、文献4 方法和文献5 方法,在95.1%以上,表明所提方法的目标检测精度更好。3.3 目标定位效率采用所提方法、文献3方法、文献4方法和文献5方法对 2 000 张图像完成测试,部分实验图像如图 2 所示。将 2 000 张图像随机分为 5 组,对比不同方法应用下,完成道路车辆检测的耗时,结果如下图 3 所示。由图 3 可知,所提方法的车辆目标定位效率最高,可以保持较为稳定的高效率,平均耗时为20.6 s,而文献3方法、文献4方法和文献5的目502柴群,等:基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法http /标定位效率远低于所提算法,耗时较多,分别平均为58.7 s、49.6 s 和 85.3 s。表明所提算法在进行多图像目标定位时具有更高的效率。图 1 目标定位精度对比(a)(b)(c)图 2 实验对象图 3 目标定位效率对比通过上述实验可知,所提方法基于 MCA 算法有效去除图像噪声,减少目标定位的干扰,并且通过改进 YOLOv3 算法,优化置信度损失函数,调高了检测精确度,CA 模块的引入,更加精准地定位了目标坐标,有效提高了小目标图像的定位精确度及目标检测的完整度。4 结束语传统的 YOLO 算法在针对无人机等小目标遥感图像识别时,存在对小目标定位不精准的问题,提出基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法,该方法首先对激光雷达图像去噪,其次提取目标区域,最后将目标区域输入至改进 YOLOv3 算法中完成目标定位。解决了传统方法的识别精准度问题,为无人机机载激光雷达图像目标定位的发展奠定了基础。参考文献1 金君.激光雷达的船舶航行障碍物识别方法J.舰船科学技术,2020,42(10):112-114.2 战荫泽,张立东,秦颖.基于激光雷达与红外图像融合的车辆目标识别算法J.激光与红外,2021,51(09):1238-1242.3 徐志京,黄海.基于多重连接特征金字塔的 SAR 图像舰船目标检测J.激光与光电子学进展,2021,58(08):287-294.4 徐英,谷雨,彭冬亮等.基于 DRGAN 和支持向量机的合成孔径雷达图像目标识别J.光学精密工程,2020,28(03):727-735.5 郑锴,郑献民,殷少锋等.基于总体最小二乘的无人机实时目标定位方法J.电光与控制,2019,26(10):26-29.6 焦慧慧,谢俊峰,刘仁等.星载对地观测光子计数激光雷达去噪方法浅析J.航天返回与遥感,2021,42(05):140-150.7 丁红波,王珍珠,刘东.激光雷达信号去噪方法的对比研究J.光学学报,2021,41(24):9-18.8 徐凯源,李大海,刘昂等.基于小波变换的平板波前死条纹噪声滤除方法J.中国激光,2020,47(09):187-195.9 邹子强,刘星,张雪峰.弹载线阵扫描激光雷达的目标识别算法J.探测与控制学报,2019,41(01):43-47.10 王涛,沈永辉,姚建铨.基于小波阈值法的激光雷达回波信号去噪研究J.激光技术,2019,43(01):63-68.11 任燕红,郭幸丽,马丽.基于增强算子的污染土雷达图像特征提取仿真J.计算机仿真,2020,37(4):5-8+61.12 夏显召,朱世贤,周意遥,等.基于阈值的激光雷达 K 均值聚类算法J.北京航空航天大学学报,2020,46(01):115-121.13 马世欣,刘春桐,李洪才,等.基于空谱联合聚类的改进核协同高光谱异常检测J.光子学报,2019,48(01):161-171.14 孙俊灵,马鹏阁,庞栋栋,等.机载平台动态杂波背景下多脉冲激光距离扩展目标回波滤波算法研究J.红外与激光工程,2021,50(03):174-180.15 童何俊,付冬梅.基于免疫遗传形态学的视网膜光学相干断层图像边缘检测方法J.工程科学学报,2019,41(04):539-545.16 陈耀祖,谷玉海,成霞,等.基于优化 YOLOv4 算法的行驶车辆要素检测方法J.应用光学,2022,43(02):248-256.17 龙怡灿,雷蓉,董杨,等.基于 YOLOv5 算法的飞机类型光学遥感识别J.地球信息科学学报,2022,24(03):572-582.18 李想,杨灿坤,周春平,等.高分辨率光学卫星图像目标运动信息提取研究综述J.国土资源遥感,2019,31(03):1-9.602柴群,等:基于改进 YOLOv3 的无人机机载激光雷达图像目标定位方法