仿猛禽视觉多分辨率的海上无人艇协同跟踪.pdf

DOI:10.11992/tis.202211001网络出版地址:https:/ 虚拟现实技术与系统全国重点实验室仿生自主飞行系统研究组,北京 100083;2.华中科技大学 人工智能与自动化学院,湖北 武汉 430074）摘 要：针对海上无人艇跟踪过程中大场景与高分辨间的矛盾问题，本文提出一种仿猛禽视觉多分辨率机制的海上目标无人艇协同跟踪方法。模拟猛禽双中央凹多分辨率成像规律，构建目标无人艇跟踪大小场景；在大场景中，模拟猛禽视顶盖峡核通路中视觉刺激的竞争选择机制进行海上无人艇显著性检测，用于纠正核相关滤波目标跟踪的结果；在小场景中，建立仿猛禽色彩分辨空间，并采用颜色显著性检测方法提取无人艇上的合作靶标；建立大场景纠正及小场景引导协同跟踪策略，实现对海上目标无人艇的协同跟踪。对比实验结果表明，本文方法的跟踪成功率高于对比方法，且有最高的平均重叠率和最低的平均像素误差，适于无人机完成对海上目标无人艇的跟踪任务。关键词：猛禽视觉；中央凹；多分辨率；大小场景；竞争选择；显著性检测；协同策略；无人艇跟踪中图分类号：TP391；V249.122 文献标志码：A 文章编号：16734785(2023)04086711中文引用格式：徐小斌,段海滨,曾志刚.仿猛禽视觉多分辨率的海上无人艇协同跟踪 J.智能系统学报,2023,18(4):867877.英文引用格式：XU Xiaobin,DUAN Haibin,ZENG Zhigang.Cooperative tracking of unmanned surface vessels at sea inspired by amulti-resolution mechanism of raptor visionJ.CAAI transactions on intelligent systems,2023,18(4):867877.Cooperative tracking of unmanned surface vessels at sea inspired by amulti-resolution mechanism of raptor visionXU Xiaobin1，DUAN Haibin1，ZENG Zhigang2(1.Bio-inspired Autonomous Flight Systems Research Group,State Key Laboratory of Virtual Reality Technology and Systems,Bei-hang University,Beijing 100083,China;2.School of Artificial Intelligence and Automation,Huazhong University of Science andTechnology,Wuhan 430074,China)Abstract:In this paper,a cooperative tracking method of unmanned surface vessel(USV)at sea inspired by a multi-res-olution mechanism of raptor vision is proposed to solve the contradiction between large scene and high resolution at sea.The large and small scenes of the target USV tracking are built based on the multi-resolution imaging rules of dual fo-vea of raptor vision.In the large scene,the competitive selection mechanism in the optic tectum-nucleus isthmi path-way of raptor is employed to detect the saliency target of USV.The detection results are applied to correct the trackingposition of kernel correlation filter.In the small scene,the color resolution space imitating raptor is built,and the co-operative target on the USV is obtained by the color saliency detection method.The cooperative tracking strategy withlarge scene correction and small scene guiding is established to achieve cooperative tracking of USV at sea.The com-parison experiment results show that the tracking success rate of the proposed method is higher than that of the compar-ison method.Besides,the proposed method has the highest average overlap rate and the lowest average pixel error.Theproposed method is suitable for unmanned aerial vehicle(UAV)to track the USV at sea.Keywords:raptor vision;fovea;multi-resolution;large and small scenes;competitive selection;saliency detection;col-laborative strategy;unmanned surface vessel tracking 智能化无人系统逐渐成为未来战争和科技发展的中坚力量，多元化、立体化、异构化、跨域化逐渐成为无人系统发展的重要方向1。自 2017 年收稿日期：20221102.网络出版日期：20230322.基金项目：国家自然科学基金项目（U1913602，91948204，U20B2071，T2121003，U19B2033）.通信作者：段海滨.E-mail：.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.2023智能系统学报编辑部版权所有美国海军水面舰艇协会年会公布了由一艘无人艇（unmanned surface vessel，USV）携带多架无人机（unmanned aerial vehicle，UAV）在海上执行作战任务的空海协同系统概念图2以来，无人机/无人艇跨域异构系统引起世界各个国家的广泛关注。无人机/无人艇跨域异构系统既能弥补无人机续航能力差的问题，又能克服无人艇搜索距离受限的缺点，从而有效地提高整个异构系统的作业水平和效率。无人机对海上合作无人艇的准确识别及稳定跟踪是无人机/无人艇跨域异构系统的关键技术2。但受实际场景中光照条件、鱼鳞光、海面波光、海浪遮挡等外界环境因素及无人艇的运动方向、运动速度、尺寸形变等自身因素的影响，使得无人机在对海上运动无人艇进行跟踪时，极易造成目标无人艇的丢失。此外，准确提取无人艇上合作靶标的特征，对无人机在大范围内追踪目标无人艇提出了挑战。因此，解决大视场和高分辨率的矛盾成为海上无人机追踪目标无人艇的最大难题。视觉目标跟踪一直是计算机视觉领域的一大研究热点3。基于相关滤波（correlation filter，CF）和深度学习的目标跟踪方法成为运动目标跟踪的主流。核相关滤波（kernel correlation filter，KCF）作为经典的目标跟踪算法通过循环矩阵和傅里叶空间等手段4-6，极大提升了运算速度。采用核相关滤波的目标跟踪算法还包括循环矩阵检测跟踪滤波器（circulant structure of tracking-by-detectionwith kernels，CSK）7、时空正则化相关滤波器（spatial-temporal regularized correlation filters，STRCF）8、尺度分辨空间跟踪器（discriminative scale spacetracker，DSST）9和快速尺度分辨空间跟踪器（fastdiscriminative scale space tracker，fDSST）10等方法，但现有的目标跟踪方法大多是基于单分辨率成像条件下实现跟踪的，对于场景的适应能力不高，且无法辨别其所跟踪的目标是否是其合作的对象。深度学习作为计算机视觉领域的重要分支，涌现出多种鲁棒性较强的运动目标跟踪方法，分为基于卷积神经网络和其他跟踪方式的目标跟踪方法和基于端到端神经网络的目标跟踪方法。最早基于深度学习的目标跟踪方法是由 Wang 等11提出的深度学习跟踪器（deep learning tracker,DLT）目标跟踪方法。其他比较典型的目标跟踪网络包括 由 Nam 1 2 提 出 的 基 于 多 域 网 络（multi-domain network,MDNet）目标跟踪方法和 Wang等13提出的基于全卷积网络的目标跟踪方法（fullyconvolutional networks tracking,FCNT）等。Siam-Mask 目标跟踪方法14和 SiamRPN+目标跟踪方法15的性能超过了传统目标跟踪方法。虽然深度学习方法跟踪精度高，但是它依赖训练数据集和图像处理器，检测速度受限，对处理器性能要求较高，增加了算法移植到机载处理器的难度。因此，面对复杂多变的海面环境时，无人机机载视觉系统利用现有方法很难适应各种作业环境并实时准确地跟踪到目标无人艇，且无法通过其他场景探测到所跟踪无人艇的细节信息。仿生视觉技术的发展为计算机视觉信息处理提供了新的技术手段16。猛禽作为鸟类六大类之一，具有最敏锐的视觉17。猛禽视网膜上有 2 个中央凹，即正中央凹和侧中央凹，分别在高空巡游和正面抓捕 2 种情况下起着重要的作用18。猛禽视野宽广19，能在大场景内迅速探测并跟踪猎物，当出现猎物在猛禽视野中丢失再出现时，猛禽能迅速重新锁定猎物。此外，猛禽视网膜神经节细胞呈非均匀分布20，能以多种分辨率轻松捕获猎物的细节特征。因此，猛禽视觉系统兼顾了大场景搜索跟踪与小场景细节特征提取的优势21，较好地解决传统光学系统的大视场与高分辨率之间的矛盾，也为本文研究提供了较好的解决思路。本文在上述猛禽视觉多分辨率机制分析基础上，采用短焦相机（大场景）和长焦相机（小场景）构建仿猛禽视觉多分辨率机制的大小场景，其中短焦相机具备大视场，长焦相机具备高分辨率。假设 2 相机共光轴，那么当目标无人艇位于其中一个相机的视野中央时，目标无人艇也一定会处于另一个相机的视野中央。在大场景中，构建仿猛禽视觉的大场景无人艇显著性检测方法，并用于纠正 KCF 算法的跟踪结果，实现对大场景中无人艇目标的实时跟踪。在小场景中，建立仿猛禽视觉的色彩分辨空间，采用颜色显著性检测方法提取无人艇上合作目标的细节特征。同时，设计大场景对小场景的纠正策略和小场景对大场景的引导策略，兼容了大场景搜索跟踪与小场景细节特征提取功能，共同实现对海上目标无人艇的协同跟踪。1 仿猛禽视觉大场景无人艇跟踪面对复杂的捕食环境，猛禽能够快速排除背868智能系统学报第 18 卷 景中的干扰信息且精准锁定猎物，这与猛禽视觉系统中的视觉注意机制密切相关。猛禽视觉信息处理主要由离顶盖通路、离丘脑通路、离中枢通路和副视通路四大通路组成22，视觉注意主要发生在离顶盖通路中。猛禽的视觉注意过程存在视觉刺激之间的竞争选择现象，当多个刺激共同作用时，竞争力更强的视觉刺激才能进一步被大脑处理。L10视顶盖峡核通路是离顶盖通路的一个主要侧支，由视顶盖（optic tectum,OT）第 10 层神经元（）、峡核大细胞部（nucleus isthmi pars magno-cellularis，Imc）和峡核小细胞部（nucleus isthmi parsparvocellularis，Ipc）组成23，如图 1 所示，三者共同参与猛禽视觉刺激的竞争选择，具有强竞争力的视觉刺激被逐级筛选，成为猛禽视觉系统的视觉注意对象。此外，猛禽视野宽广，能利用上述机制在大场景内迅速探测并跟踪猎物，且当出现猎物在猛禽视野中丢失再出现时，猛禽也能迅速重新锁定猎物。视顶盖第 10 层(L10)神经元2 种形态的峡核大细胞部(Imc)神经元峡核小细胞部(Ipc)神经元刺激输入前馈通路 L10 Imc/Ipc 兴奋性投射通路 Imc Ipc 抑制性投射反馈通路 Ipc L10 兴奋性投射视网膜神经节细胞L10ImcIpc 图 1 视顶盖峡核通路连接关系Fig.1 Connection between OT and nucleus isthmus pathway 受猛禽捕猎行为中视觉处理方式的启发，采用猛禽视顶盖峡核通路刺激的竞争选择机制获取复杂未知海面环境中的无人艇目标。由视觉的布尔图理论可知24，猛禽视觉在某一时刻仅能捕获单维度的特征，多个特征融合才能形成最终的视觉选择结果。在海上无人艇目标的检测过程中，目标易受亮度、波光及海浪等信息的影响。色彩的色度、饱和度和明度（hue,saturation,value,HSV）颜色空间中的 H 通道能够有效抑制海面鱼鳞光及耀光对显著性检测的影响。颜色对立（lab color space,Lab）空间中的 L 通道在消除海面异常颜色方面有比较显著的作用。此外，猛禽视网膜上的光感受器在捕猎时发挥着极其重要的作用，将其归纳为明视觉通道和暗视觉通道。因此，本文将从 L 通道、H 通道、明视觉通道和暗视觉通道 4 个特征通道中提取图像的特征，更全面地模拟猛禽视觉系统所感受的视觉特征。I对输入图像，仿猛禽视觉的明视觉通道表示为B=maxp(maxcr,g,bIc(p)(1)p=(x,y)pIcIcr,g,bI式中：为图像中的像素点；为以 为中心的图像块；为输入图像 的 颜色通道；分别为图像 的红色、绿色、蓝色通道。同理，仿猛禽视觉的暗视觉通道表示为D=minp(mincr,g,bIc(p)(2)考虑充分利用图像的细节信息，分别在图像的 L、H、B 和 D 通道生成一系列布尔特征图，即通过在每个通道上分别取不同阈值 下的二值图，可表示为BC=ThreVal(C,),C L,H,B,D(3)C式中：为图像的特征通道，阈值 的取值呈均匀分布。生成布尔特征图的阈值分割函数表示为ThreVal(a,)=1,a 0,其他(4)aI式中 为图像 中像素的像素值。不同特征通道生成的布尔特征图像序列表示为BC=BC1,BC2,BCi,BCN(5)NICBCii U(0,255)BCi式中：为图像 在 特征通道所生成的布尔特征个数；为分割阈值为时的布尔特征图。利用基于布尔映射的显著性（Boolean mapbased saliency，BMS）模型25对上述布尔特征图进行处理，对应布尔特征图的初级视觉注意图为ACi(BCi)=A+(BCi)?A+(BCi)?2+A(BCi)?A(BCi)?2(6)A+(BCi)A(BCi)2式中：和分别为子激活图25的视觉响应图；为二范数。将各通道所有布尔特征图形成的视觉响应加权求和结果用于生成输入第 4 期徐小斌，等：仿猛禽视觉多分辨率的海上无人艇协同跟踪869 到猛禽视觉系统的刺激，即所生成的猛禽视觉刺激为Sj=SC=Ni=1ACi(BCi)p(BCi|IC),j=1,2,3,4(7)p(BCi|IC)式中为布尔特征分布权重，表示为p(BCi|IC)=1N(8)采用信息熵衡量输入猛禽视觉系统中各个视觉刺激的强度为H(Sj)=Mi=1pilogpi(9)piiM式中：为显著值 占显著图中所有显著值的比例，为显著图中的最大显著值。ijij在猛禽的视顶盖峡核通络中，采用描述神经元 和神经元 间的刺激竞争关系。采用不同神经元之间信息熵间的关系，重构不同刺激之间的竞争选择关系矩阵为ij=1/1H(Sj)1/H(Si)1/4i=1H(Si),i,j(10)ij 0SjSi当时，新刺激 比原刺激 的信息量更大，原视觉刺激在一定程度上被抑制。反之，原刺激保持或增强。Si,i=1,2,3,4Sj,j=1,2,3,4j,iSi任选刺激作为输入到猛禽视网膜的初始刺激，其余刺激且被分配为竞争刺激，与 之间形成竞争，仿猛禽视觉刺激竞争选择机制的显著性检测结果为S=Si+4j=1,j,iijSj(11)S对 进行自适应阈值分割，获取最大连通域的正外接矩形，即仿猛禽视觉刺激竞争选择的显著性检测方法获得的无人艇目标位置为Peagle=xe,ye,we,he(12)(xe,ye)wehe式中：为海上无人艇目标框左上角坐标位置，为目标框的宽度，为目标框的高度。采用仿猛禽视觉显著性检测结果纠正 KCF跟踪结果，最终仿猛禽视觉大场景无人艇跟踪结果为P=1PKCF+2Peagle,1+2=1(13)PKCF12式中：为 KCF 跟踪结果，和分别为 KCF跟踪结果与仿猛禽视觉显著性检测结果的权重。2 仿猛禽视觉小场景靶标提取猛禽具有高时间分辨率和高空间分辨率，能够清晰地捕获快速移动猎物的轨迹和细节特征，且能有效避免猎物因高速运动而产生的图像模糊26。颜色是大脑产生的感觉，昼行性猛禽的视网膜中分布着 4 种类型的视锥细胞，每个视锥细胞中含有油滴，使猛禽拥有红、绿、蓝和紫外 4 色视觉。除此之外，猛禽的视锥细胞间呈高度有序分布，称为“超齐构体”。这种分布特点使得猛禽在拥有四色颜色机制的同时，还增加了色彩分辨的稳定性。无人机跟踪正确的目标无人艇是提高异构平台工作效率的前提，为了在小场景内获取准确的无人艇合作靶标，利用猛禽对颜色敏感的特性提取无人艇上合作靶标的信息。常用图像的编码形式大多为 RGB(red,green,blue)图像，为了更接近猛禽视觉的生理特性，模拟猛禽视觉的四色机制，构建仿猛禽色彩分辨空间(long,medium and short,LMS)，即L=max(0,min(rg,rb)M=max(0,min(gr,gb)S=max(0,min(br,bg)U=(r+g+b)/3(14)式中：R、G、B 分别为 RGB 颜色空间的红、绿、蓝通道；L、M、S、U 分别为猛禽色彩分辨空间的长波、中波、短波和紫外通路图像。pi在仿猛禽视觉的色彩分辨空间中，定义图像中像素的颜色显著值为S(pi)=mj=1d(pi,pj),i,j(15)md()式中：为图像中像素的个数；为 2 像素的颜色距离，表示为d(pi,pj)=(LiLj)2+(MiMj)2+(SiSj)2+(UiUj)2(16)ci相同颜色像素的颜色显著值相同，则目标颜色 的显著图可表示为S(ci)=mcimmj=1d(pi,pj),i,j(17)mcici式中为图像中出现颜色 的个数。S(ci)将二值化，最大连通域即为小场景中的目标所在区域。870智能系统学报第 18 卷 3 多分辨率大小场景协同策略猛禽视网膜神经节细胞呈非均匀分布，存在多种分辨率，在中央凹处密度最大，分辨率最高。猛禽中央凹在处理图像放大、聚焦平面和运动检测等视觉信息起着重要的作用，能够在跟踪猎物的同时也捕获猎物的细节特征27。因此，猛禽视觉系统兼顾了大场景（短焦相机，焦距为 3.6 mm）搜索跟踪与小场景（长焦相机，焦距为 12 mm）细节特征提取的优势，较好地解决传统光学系统在的大视场与高分辨率之间的矛盾。3.1 大场景对小场景的纠正策略长焦相机（小场景）由于视场小，无人艇更容易移出相机视野，而短焦相机（大场景）视场较大，由于 2 场景共光轴，此时无人艇可能还在大场景中，通过缩小大场景中相机与目标无人艇间的夹角，使得无人艇靠近大场景的图像中心，由此无人艇就可重新出现在小场景中，进而获取更多的无人艇合作靶标的细节信息。大场景对小场景的纠正作用的示意图如图 2 所示。成像平面大场景小场景无人艇无人艇bTxbTybfbb 图 2 大场景纠正小场景Fig.2 Large scene correct small scene 在大场景中，无人艇偏离图像中心的角度为b=arctanTbxufbb=arctanTbyvfb(18)fbfsbxbyTbxxTbyy式中：为短焦相机的焦距；为短焦相机的焦距；（方向）和（方向）为大场景中无人艇偏离图像中心的角度；（方向）和（方向）为图u xv y像中无人艇偏离中心点的像素个数；（方向）和（方向）为相机的成像平面的像元尺寸（相机固有参数，假设长焦相机和短焦相机的像元尺寸相同）。bb通过缩小大场景中无人艇的偏离角和，使得无人艇靠近图像中心，由于大小场景共光轴，无人艇也将重新回到小场景中，并靠近小场景图像的中心位置。3.2 小场景对大场景的引导策略短焦相机（大场景）由于视场大，视野中更容易出现非目标无人艇等其他干扰船只或漂浮物的影响。小场景能够利用其远距离探测能力获得目标无人艇上合作靶标的细节信息，进而剔除大场景中的干扰目标。小场景对大场景的引导作用的示意图如图 3 所示。成像平面大场景小场景无人艇 1无人艇 1无人艇 2无人艇 2Tbx1Tbx2fbb2b1 图 3 小场景引导大场景Fig.3 Small scene guide large scene 在小场景中，可根据仿猛禽颜色显著性检测确定唯一的目标无人艇，小场景引导大场景策略可以表示为s1=bis1=bi,i=1,2,Nusv(19)s1xs1ybixbiyNusv式中：（方向）和（方向）为合作目标无人艇在小场景中的偏离角（其计算方式与式(18)相同），（方向）和（方向）为大场景中不同无人艇的偏离角，为大场景中无人艇的个数。3.3 目标无人艇的协同跟踪综上所述，仿猛禽视觉多分辨率的海上无人艇协同跟踪方法流程如图 4 所示。第 4 期徐小斌，等：仿猛禽视觉多分辨率的海上无人艇协同跟踪871 小场景中目标丢失NNYNYY在大场景中搜索目标提取靶标特征大场景中有 m个跟踪框计算每个跟踪框中心与图像中心和相机焦心形成的夹角 b获取大场景中 s等于 b 的跟踪框计算靶标中心与图像中心和相机焦心形成的夹角 s调整目标至图像中央提取小场景靶标特征获取正确的跟踪目标下一帧图像跟踪结束结束KCF 目标跟踪初始位置滤波器滤波器定位定位第 1 帧纠正循环采样理想响应更新模板重新采样12ItIt+1跟踪接近加权求和计算信息熵选取初始刺激短焦大场景(模拟大视场看得广)布尔特征图 刺激通道图跟踪接近同光轴提取降落靶标特征显著图猛禽视觉目标位置空间特性图细节检测合作靶标长焦小场景(模拟小视场看得清)调整目标至图像中央位置目标跟踪仿猛禽多分辨率目标无人艇协同跟踪 图 4 仿猛禽视觉多分辨率的海上无人艇协同跟踪流程Fig.4 Flow chart of the cooperative tracking method of USV at sea inspired by multi-resolution mechanism of raptor vision 具体步骤如下：1）选取特征通道及其布尔特征。获取图像的 L 通道、H 通道、亮通道和暗通道作为仿猛禽视觉显著性检测的特征图像通道，利用式(3)和式(5)获取各通道的布尔特征序列。2）生成仿猛禽视觉刺激。利用式(7)获取输入到猛禽视顶盖峡核通路的视觉刺激。3）计算视觉刺激的强度。通过式(9)信息熵计算步骤 2）中输入到猛禽视网膜中视觉刺激的竞争强度。ijij4）重建刺激竞争选择关系矩阵。通过式(10)重构神经元 和神经元 之间的刺激竞争选择关系矩阵。SPeagle5）获取仿猛禽视觉显著性检测结果。利用式(11)生成仿猛禽视觉刺激竞争选择机制的显著性检测结果 和其最小外接矩形。PKCF6）生成初级目标跟踪结果。采用 KCF 跟踪算法，获得目标跟踪结果。P7）计算无人艇修正结果。将步骤 5）、6）的结果进行加权求和，获取仿猛禽视觉大视场的无人艇跟踪结果。8）构建仿猛禽色彩分辨空间。根据式(14)构建仿猛禽色彩分辨空间。9）提取靶标。设置颜色分割阈值，根据式(17)精确分辨小场景中合作靶标的所在区域。10）计算大场景中无人艇的偏离角。根据式(18)计算大场景中所有检测到的无人艇偏离相机中心的夹角。11）计算小场景中无人艇的偏离角。采用与步骤 10）相同的方法计算小场景中无人艇合作靶标偏离相机中心的角度。12）多分辨率无人艇协同跟踪。当小场景中的目标无人艇丢失时，利用大场景的纠正策略迅速将无人艇拉回至视野中央，以纠正小场景中的无人艇跟踪位置。当大场景中出现其他干扰目标时，利用小场景的引导策略为大场景提供正确的引导信息。通过大小场景的相互协同策略，共同实现无人机对目标无人艇及合作靶标的跟踪与检测。4 结果分析 4.1 参数敏感性分析121221=12=112和是本文方法的 2 个重要参数，以算法预测跟踪框和真实跟踪框的平均重叠率为评价指标，和的参数敏感度分析结果如图 5 所示，的取值对跟踪算法的性能影响较大。当时，算法退化为 KCF 目标跟踪方法，当时，算法退化为仿猛禽视觉刺激竞争选择机制的显著性检测方法。本文方法中和分别取 0.7 和 0.3。0.10.30.50.70.920.10.30.50.70.910.061 7230.202 4600.061 7230.061 7310.361 7300.061 7230.061 7230.185 1800.411 7300.061 7310.332 1000.246 9100.461 7300.185 1800.061 7230.161 7300.585 1800.055 1000.061 7310.013 4000.572 1000.061 7310.185 1800.121 1000.061 7310.050.100.150.200.250.300.350.400.450.500.55 12图 5 、敏感度分析12Fig.5 、sensitivity analysis 872智能系统学报第 18 卷 4.2 Unity3D 仿真场景在 Unity3D 仿真场景对仿猛禽视觉多分辨率的海上无人艇协同跟踪方法进行验证。图 6（a）为仅在小场景中对海上无人艇目标进行跟踪的结果，目标极易丢失，且丢失后很难再跟踪。如图 6（b）、（c）所示，采用大小场景进行海上目标无人艇跟踪时，如第 275 帧所示，虽然无人艇在小场景中丢失，但在大场景中仍可以准确追踪到，通过缩小大场景中无人艇的偏离角，使目标无人艇趋近大场景中心，同时小场景会重新准确捕获到目标无人艇，如 664 帧所示。#664#610#275#173#95(a)单焦跟踪(b)大场景跟踪(c)小场景锁定多分辨率 图 6 大场景纠正小场景结果Fig.6 Results of large scene correcting small scene 如图 7（a）所示，当仅在大场景中采用本文第2 节所提出的目标跟踪方法跟踪无人艇时，由于引入仿猛禽视觉显著性检测结果，使得跟踪结果出现多个目标框，但是无法判断唯一的目标无人艇。首先，通过小场景的远视能力探测无人艇的细节特征，从而确定小场景中的目标无人艇位置。如图 7（b）所示，通过在小场景中检测无人艇上的红色嵌套靶标，确定唯一目标无人艇。根据无人艇的偏离角确定并引导大场景跟踪目标无人艇。如图 7（c）所示，仅带有合作目标的无人艇被选择且被稳定跟踪。大小场景相互纠正导引，实现了大场景中对目标无人艇的准确跟踪及小场景内对艇上合作靶标的精准锁定。#650#266#101#75#23(a)单焦跟踪(b)小场景锁定(c)大场景跟踪多分辨率 图 7 小场景引导大场景结果Fig.7 Results of small scene guiding large scene 4.3 真实验证场景为进一步验证算法在实际作业环境中对目标无人艇的跟踪性能，分别采用外场无人机实际飞行中采集的水面和海面无人艇图像序列（下视场景为主）对本文所提出的方法进行验证。2 组图像序列分别为无人机机腹处平行安装（假设共光轴）的长焦相机（焦距为 12 mm）和短焦相机（焦距为 3.6 mm）共同工作时捕获的。此外，采用多种方法与其对比（采用短焦相机捕获的图像），主要包括：CSK、STRCF、基于卷积算子的跟踪器（efficient convolution operators for tracking，ECO）28、DSST、fDSST 和 KCF。在水面验证场景中，当无人艇始终处于相机视野中央时，各算法的跟踪性能基本相似，跟踪精度略有差异。3 877 帧之后出现无人艇目标丢失情况，3 913 帧时大场景中出现干扰船只，若仅引入仿猛禽视觉显著性检测的结果，图 8（a）中本文方法出现误检测。由于引入小场景的引导作用，本文算法在大场景中准确筛选出了目标无人艇，如图 8（b）所示，并迅速重新锁定目标无人艇，实现再跟踪。而各个对比方法在出现目标丢失情况后，跟踪框偏离无人艇目标，ECO 算法和 STRCF算法开始跟踪河岸上的杂草，而无法再次跟踪准确的无人艇目标。第 4 期徐小斌，等：仿猛禽视觉多分辨率的海上无人艇协同跟踪873 GT本文KCFfDSSTECODSSTCSKSTRCF#3 877#3 935#4 275#4 339#3 913(a)对比结果(b)大视场跟踪(c)小场景锁定多分辨率 图 8 水面目标无人艇跟踪结果Fig.8 Tracking results of target USV at water 小场景因其视野小，更容易丢失目标无人艇，且很难实现再跟踪。3 935 帧时，目标无人艇在小场景中丢失，但由于大小场景共光轴，此时目标无人艇仍在大场景中，通过缩小大场景中无人艇偏离图像中心的角度，将无人艇重新拉回大场景中央，同时也可实现对小场景内目标无人艇的再跟踪再锁定。4 275 帧时，即使发生背景及无人艇尺寸变化，本文方法仍能保持对目标无人艇的稳定跟踪。fDSST、DSST 和 CSK 算法的跟踪框从 3 913帧丢失后又开始逐渐靠近无人艇目标。4 339 帧时 DSST 算法基本重新跟踪到目标，但还有一定的偏差。综上所述，对比方法对作业场景的适应能力较弱，更容易受到场景中干扰因素的影响。相比于水面场景，海面验证场景中存在更多的不确定的动态干扰因素，如鱼鳞光、阳光反射、海浪、海风等，被跟踪无人艇更容易出现变形、被遮挡、丢失等情况，极大增加了图像处理和无人艇跟踪的难度，从而造成跟踪失败、误检、漏检等。1 175帧时，大部分方法跟踪框位于目标无人艇附近，但 STRCF 等跟踪算法已开始将跟踪重点转向与无人艇特征相似的条状海浪处。1 181 帧时，出现非目标无人艇（即没有安装合作靶标的无人艇）干扰，若仅依靠本文算法大场景中的仿猛禽显著性检测的纠正作用，则出现跟踪错误的情况，如图 9（a）所示。引入小场景导引策略后，通过在小场景锁定目标无人艇上的合作靶标，计算目标无人艇在小场景中偏离角，导引大场景跟踪唯一目标无人艇，跟踪结果如图 9（b）所示。同理，2 031帧时，若仅采用小场景对靶标进行检测，一旦靶标丢失，受小场景视野的限制很难将目标重新拉回至视野中央。由于引入大场景的纠正作用，2 232帧时无人艇重新被拉回小场景的视野中央，使得2 场景均实现对目标无人艇的再跟踪和再锁定。目标丢失再出现及目标尺寸变化对各个对比方法的影响较大，从 1 565 帧开始，STRCF 算法丢失无人艇目标开始跟踪海面耀光。ECO、fDSST 和 DSST算法能够大致跟踪无人艇，但是其跟踪精度略差，且一旦出现目标长时间丢失时，即使目标无人艇再出现，也很难重新锁定，这对无人机和无人艇异构平台的协同作业是非常不利的。GTKCFfDSSTECODSSTCSK STRCF#1 175#1 535#2 031#2 232#1 811(a)对比结果(b)大视场跟踪(c)小场景锁定本文多分辨率 图 9 海面目标无人艇跟踪结果Fig.9 Tracking results of target USV at sea 4.4 评价指标本节分别采用成功率曲线、平均重叠率和像素误差从跟踪算法的准确度、精度方面对本文提出的方法及各种对比方法进行评价。874智能系统学报第 18 卷 一次性评估（one pass evaluation,OPE）是根据视频序列第 1 帧给出的目标位置初始化跟踪算法，然后对目标的位置和大小进行预测，从而得到跟踪算法的精度或成功率。图 10 为 2 种验证场景跟踪图像序列的成功率曲线。0.20.40.60.81.0重叠率阈值(a)水面场景00.10.20.30.40.50.60.70.80.91.0成功率fDSST 0.20本文 0.49CSK 0.36DSST 0.22ECO 0.24KCF 0.14STRCF 0.200.20.40.60.81.0重叠率阈值(b)海面场景00.10.20.30.40.50.60.70.80.91.0成功率fDSST 0.08本文 0.54CSK 0.10DSST 0.11ECO 0.15KCF 0.12STRCF 0.10 图 10 成功率曲线Fig.10 Curves of success rate 如图 10 所示，在 2 种验证场景中，本文方法的成功率曲线最高，表明本文方法能够有效排除场景中的干扰信息，且能适应不同动态场景的变化，即使出现目标无人艇丢失再出现的情况，本文算法也能再次锁定目标，跟踪效果比其他对比方法更稳定。CSK 方法优于其他对比方法，其他各对比方法的跟踪性能相似，对动态背景的变化比较敏感。平均重叠率（average overlap rate，AOR）是指算法预测的目标跟踪区域与真实的目标跟踪区域的重叠面积。AOR 越高，算法跟踪性能越好。反之，算法的跟踪性能越差。平均重叠率 AOR 可表示为AAOR=|AMAGT|AMAGT|(20)AMAGT|式中：为算法预测的目标区域，为真实的目标区域，为该区域内的像素个数。水面验证场景和海面验证场景的 AOR 图分别如图 11（a）、（b）所示。本文KCFfDSSTECODSSTCSKSTRCF00.10.20.30.40.5AOR本文KCFfDSSTECODSSTCSKSTRCF00.10.20.30.40.60.5AOR(a)水面场景方法方法(b)海面场景 图 11 平均重叠率Fig.11 Average overlap rate 如图 11 所示，本文方法获得了最高的平均重叠率，说明本文方法预测的无人艇目标区域与真实的无人艇所在区域最相近。在水面验证场景中，本文算法的平均重叠率为 0.49，性能第 2 好的 CSK 跟踪方法的平均重叠率为 0.36，跟踪性能提升了 13%。在海面验证场景中，本文方法的平均重叠率达到 0.54，ECO 跟踪方法的平均重叠率为 0.15，本文方法比 ECO 性能提升 39%。综上所述，本文仿猛禽视觉多分辨率的目标无人艇跟踪方法对目标丢失再出现情况的鲁棒性较强，能够适应动态环境的变化，准确锁定并跟踪与无人机合作的目标无人艇，适用于复杂的工作环境。平均像素误差（average pixel error，APE）是指跟踪算法预测的目标中心位置与真实目标中心位置之间的距离。APE 越小，跟踪算法的性能越好，APE 可通过像素距离计算为PAPE=(xMxGT)2+(yMyGT)2(21)(xM,yM)(xGT,yGT)式中：为算法预测的无人艇的中心位置，为真实的无人艇的中心位置。2