基于图注意力机制的无人机目标红外跟踪技术.pdf

第 44 卷第 3 期 国 防 科 技 Vol.44,No.3 2023 年 6 月 NATIONAL DEFENSE TECHNOLOGY Jun.2023 收稿日期 2023-03-15 修回日期 2023-04-24 采用日期 2023-04-30 基金项目 国家自然科学基金项目（62075239、61302145）*通信作者 张焱，E-mail： 作者简介 师晓冉，女，硕士，助理工程师，研究方向为自动目标识别；张焱，女，博士，研究员，研究方向为自动目标识别。基于图注意力机制的无人机目标红外跟踪技术 师晓冉1，张 焱2*（1.93202部队，新疆 乌鲁木齐 841700；2.国防科技大学电子科学学院，湖南 长沙 410073）摘 要 近些年来，无人飞行器逐步普及，给社会治安、空域管制、要地防护等领域带来新的威胁。因此，对高威胁、难辨识的无人机目标进行高准确、高稳定的搜索跟踪有着迫切需求。立足城市环境下的反无人机作战需求，针对无人机易受复杂背景干扰、地物遮挡影响及其姿态尺度变化和快速机动造成的跟踪丢失问题，结合图神经网络与注意力机制，提出一种基于图注意力机制的孪生网络无人机目标红外跟踪技术。基于图注意力机制的局部特征匹配模块，通过节点间的信息传递实现全局信息匹配，通过基于图的特征表示和特征交互，增强从目标模板到搜索区域的信息嵌入能力；目标感知区域选择机制可以适应无人机目标尺寸和姿态的变化；基于运动特征设计的切换策略，实现局部跟踪和全局重检测间的动态选择。实验结果表明，在红外无人机目标跟踪时，运用此方法可以取得稳定的跟踪结果，可以有效应对形变、遮挡、复杂背景干扰等挑战，为实现在城市环境中持续稳定跟踪小型无人机目标提供技术参考。关键词 反无人机；红外目标跟踪；孪生网络；图注意力机制 中图分类号 TP391.4 文献标志码 A 文章编号 1671-4547(2023)03-0026-14 DOI：10.13943/j.issn 1671-4547.2023.03.05 引言 当前，无人机行业迅速兴起，小型无人机凭借其低廉的造价、简易的操作以及较高的灵活性和机动性，在军事和民用的诸多领域得到了广泛应用。然而，在改善了生产生活方式的同时，不法分子使用无人机进行骚扰、走私、非法入侵和恐怖袭击等情况时有发生，无人机的恶意使用对公共安全构成严重威胁。尤其是在城市环境中，“低慢小”无人机可以在楼宇间任意穿梭，难以得到有效管控。因此，开展无人机反制技术研究对保障公民以及重点军事防护领域的安全具有重要意义。实现无人机反制，首先要解决“看得见、跟得上”的问题。目前，无人机反制领域常用的探测手段包括电学探测技术、声学探测技术和光学探测技术1。电学探测技术主要包括主动雷达探测和被动无源侦收与定位两项技术。主动雷达探测是目前反无人机系统主要使用的探测手段之一，其技术较为成熟，并且可在探测距离与探测精度方面做适当权衡选择，理论上可实现远距离探测并跟踪“低慢小”目标。雷达部署方式多样，可以单站部署，也可以组网部署。但是，单站雷达受杂波影响和视距限制，其低空目标检测能力弱；雷达组网成本高、难度大，师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 27 难以大面积快速部署。此外，在城市环境下，楼宇间多杂波干扰，多径效应严重，人员、车辆、飞鸟等干扰目标多，检测准确率较低。由于无人机在飞行过程中会与其控制站之间保持通信联系，因此，可以通过被动无源侦收不同无人机与控制站之间的射频信号、Wi-Fi信号和无线电信号等方式来判断是否存在无人机入侵，并对目标进行定位和跟踪。与雷达探测技术相比，被动无源探测技术具有覆盖范围广、频段全、速度快、隐蔽性较好等优势，但容易受到复杂信号干扰，并且精度较差，往往只能作为其他技术的辅助手段。声学探测技术是指利用无人机的音频指纹进行型号识别的技术。这类技术不仅能够探测到无人机，还能够识别出无人机型号，是未来多技术管控无人机的重要技术手段之一。但是，声学探测技术易受噪声、杂波影响，对于大型无人机的探测效果较好，而中小型无人机声音小，加之城市环境中的噪声干扰严重，导致探测效果不佳。光学探测技术是指利用可见光/红外图像数据对目标进行探测、识别、定位和跟踪的技术。可见光探测技术像素分辨率高、目标纹理清晰、识别效果好，但要求有源照明；红外探测技术虽然比可见光探测技术成像分辨率低，但可以实现夜间探测，且可以应对雨、雪、雾等复杂天候。综上，主动雷达探测技术在远距离“低慢小”目标检测跟踪领域能取得较好效果，但在复杂城市背景下，雷达受多径效应干扰，严重影响其对无人机目标的跟踪性能。被动无源侦收与定位技术易受复杂电磁环境干扰，跟踪精度低，不适用于城市作战。光学探测技术在中近距离时可实现识别级检测，在城市环境下更具有优势。因此，当无人机目标与探测器距离较近（通常为3 km，实际还与探测器性能指标和天气有关）时，使用光学探测技术对无人机目标进行边检测边跟踪，可以有效去除杂波干扰。相较于可见光探测，红外成像探测具备较强的目标背景区分能力。而且，红外热成像探测具有较强的穿透能力，可以避免灰尘、烟雾等因素的遮挡影响，适应复杂背景下的目标检测和识别要求，实现边检测边跟踪；同时，红外成像能够实现全天时工作，并且能更有效地抑制地面杂波。以上特性都使得该技术在检测和跟踪无人机目标方面具有良好的应用前景，因此本文立足于城市环境下的反无人机作战需求，针对红外条件下的无人机目标跟踪技术展开研究。复杂背景下小型无人机目标红外跟踪面临几个难点问题。第一，在无人机飞行过程中，由于探测器拍摄角度不同，目标外观会发生变化。同时，当无人机的飞行姿态和其与探测器间的距离产生较大变化时，红外图像中无人机目标的尺度和外形变化剧烈，可能增大跟踪失败的风险。第二，在信噪比低的恶劣背景环境下，目标受背景热源干扰严重，无人机目标信息容易被掩盖；当背景高度复杂时，目标和背景的区分度较弱，从而降低跟踪的准确性。第三，小型无人机的机动性强，在快速移动时容易出现跟踪丢失问题，导致跟踪结果出现诸多轨迹跳变2。针对上述问题，本文以孪生框架为基础，提出了一种基于图注意力机制的孪生网络红外无人机单目标跟踪算法（GASiam），用于应对复杂场景下跟踪红外无人机目标时面对的遮挡、尺度变化和无人机快速机动的挑战。将算法“图”和“注意力”的概念3引入信息嵌入模块，通过学习节点之间的关系得到目标模板特征与搜索特征之间的局部特征关系映射，充分提取红外弱小目标的低维特征，增强了网络的信息嵌入能力，充分保持了无人机目标的局部细节，提高了算法应对尺度变化和复杂背景的能力。本文还提出了基于运动特征提取的切换策略，该策略通过判断序列相邻帧之间的运动信息，可以实现算法局部跟踪和全局搜索之间的自适应切换，以局部跟踪保证算法的精度和实时性，以全局搜索机制有效解决无人机高速机动导致的跟踪丢失问题。28 国防科技 2023 年第 3 期（总第 340 期）1 算法原理 GASiam 跟 踪 算 法 包 括 基 于 改 进 的MobileNetV24的特征提取网络模块、基于图注意力机制的局部特征匹配模块和局部跟踪/全局搜索切换策略。其中，本文创新性地依靠“图”的特性，设计目标模板到搜索区域之间的信息嵌入方式，因此这三个模块中以基于图注意力机制的局部特征匹配模块为主导。为了对其提供高细粒度的深度特征，设计了特征提取模块；为了补充局部匹配的不足，提出了切换策略。1.1 算法整体框架设计 SiamR-CNN5采用双阶段孪生结构实现了重检测。现有研究表明该结构对于解决无人机目标丢失问题效果较好，因此本文引入包含两次重检测的双阶段孪生结构作为算法的框架结构，大幅降低算法在目标丢失时重新检测和跟踪的风险。GASiam算法网络框架如图1所示。双阶段结构备份了许多轨迹，以确保重检测的成功率。但是，在红外无人机图像中，由于目标严重缺乏纹理细节特征，并且背景往往十分复杂，复杂的检索机制可能会使跟踪效果受到很大影响。针对此种情况，本文提出了以下模块。首先，图神经网络可以直接对图结构进行学习，而注意力模型可以让网络更加注重相关节点，本文将两者的优点相结合，提出一个基于图注意力机制的局部特征匹配模块，即图1中的红色框。该模块可以学习目标模板节点和搜索区域节点之间的关系，通过注意力机制有效提取目标信息，降低背景的权重，使得算法可以更加充分地提取红外小目标的低维特征，保留无人机的局部细节。同时，由于该模块利用的是节点至节点的信息嵌入，而非互相关操作中的全局信息传播，所以这种局部特征匹配模块可以减轻运动过程中目标尺度、形状等变化对跟踪结果带来的影响。其次，针对红外无人机目标的成像面积小和深层特征易被湮没的问题，设计了基于改进的MobileNetV2的特征提取网络，如图1中绿色框所示。将无人机红外图像输入该特征提取网络，可以为图注意力模块提供高细粒度的深度特征。最后，为了补充图注意力模块的局部特征匹配的不足，提出了基于运动特征提取的局部跟踪/全局搜索切换策略，如图1中蓝色框所示。该策略可以通过运动特征对局部跟踪丢失时的运动情况作出判断，并利用双阶段结构存储的历史轨迹信息，动态选取局部跟踪或者全局检测策略。具体来说，GASiam算法运用了一个基于改进的特征提取网络的孪生结构，后接一个可以利用图注意力机制传递图结构特征的局部特征匹配模块，最后利用切换策略，有条件地在全局重检测或者利用图注意力机制进行局部跟踪之间选择，达到最佳的跟踪效果。图1 GASiam算法网络框架 师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 29 1.2 基于图注意力机制的局部特征匹配模块构建 尽管全局重检测技术可以实现长时间跟踪，但对于严重缺乏纹理细节信息的红外无人机目标来说，持续监测机制容易造成目标的漂移，特别是面对复杂背景时，局部跟踪策略更加符合对无人机跟踪鲁棒性的要求。在利用孪生网络进行局部跟踪时，现有的常用算法是利用互相关运算将目标信息从模板区域传递到搜索区域，然后通过局部搜索进行匹配。但是，由于互相关操作会使用目标模板的全部特征，其中包括了冗余的背景信息；并且这种全局特征匹配会降低目标信息与搜索区域之间的信息传递能力，当搜索区域中目标的形状和姿态变化时，匹配的精度会发生大幅度下降。针对上述问题，本文将“图”和“注意力”的概念相结合，提出基于图注意力机制的局部特征匹配模块，以更精细地提取目标特征。首先，解决什么是“图”的问题。图形结构是一种比树形结构更复杂的非线性结构。在树形结构中，节点间具有分支层次关系，每一层上的节点只能和上一层的至多一个节点相关，但可能和下一层的多个节点相关。在图形结构中，任意两个节点之间都可能相关，即节点之间的邻接关系可以是任意的6。图是由节点和节点之间的连线组成，用于描述对象（节点）之间的相互关系（连线）。图神经网络（Graph Neural Networks,简称GNNs）7是第一种在图上建立神经网络的模型。这种模型使用神经网络来学习图结构数据，从而提取和发掘图结构数据中的特征和模式，在节点分类、边信息传播和图聚类等任务上取得了优良效果。图神经网络将聚合函数定义为一个循环递归函数，在此基础上，将每个节点的邻接节点和邻接边作为其信息源，并更新自身表达8。这种结构使得图神经网络可以有效捕获数据之间的相互依赖关系，确保即使当图的属性（点、边、全局信息）发生改变时，图的排列（即数据间的相互关系）不变。分析认为，利用图神经网络可保持图的排列不变的特点，对目标模板节点和搜索区域节点之间的信息嵌入进行建模，并输入图神经网络进行学习，可以保证在搜索区域的图属性发生改变时，其与目标模板之间的节点相互关系不变。其次，解决什么是“注意力”的问题。在认知科学中，由于信息处理的瓶颈，人类会选择性关注所有信息中的一部分，同时忽略其他可见信息，此机制通常被称为注意力机制。注意力机制的优点是可以通过分配权重处理不同大小的输入。因此，将注意力机制引入图神经网络，可以计算两个节点之间的权重，并根据计算的权重更新目标节点。在这种情况下，邻近矩阵仅被用来定义相关节点，而关联权重的计算则依赖于节点的特征表达，可以看出，注意力机制的引入使得图神经网络更具有鲁棒性和可解释性。根据以上分析，本文认为不同于互相关操作只能进行图像块之间的比较，图神经网络可以以节点形式学习并在目标模板和搜索区域之间传递目标特征。因此，为了更好地应对无人机目标形变带来的挑战，将图神经网络和注意力机制相结合，引入信息嵌入模块，提出了基于图注意力机制的局部特征匹配模块，实现了目标模板与搜索区域之间的局部匹配，具体结构如图2所示。图注意力模块包括目标模板和搜索区域的图注意力结构图，搜索区域的图注意力结构图中的待搜索节点可以通过计算，求出其在搜索区域响应图中对应节点的位置。可以看出，每个搜索节点是通过利用来自所有邻近目标节点的信息重建的。fF和cF分别表示模板图像f和当前帧图像c的特征。视特征图由11m（m为特征通道的数量）节点构成，通过学习节点之间的关系得到目标模板特征与搜索区域特征之间的对应关系。fV 和cV 分别表示包含fF 和cF 中所有节点的集。构建一个向量(,)|,cEx yxV fyV，以探求两个节点集之间的关系。30 国防科技 2023 年第 3 期（总第 340 期）图2 基于图注意力机制的局部特征匹配模块的具体结构 对于每一个(,)p qE，设pqe为节点cpV和节点fqV之间的注意力值，注意力网络a与两个节点均有关系，表示如下：(,)pqpqcfeahh(1)式中，pch和qfh是节点p和节点q的特征向量。当两个节点越相似时，说明该搜索特征与目标特征越相似，该位置越有可能代表目标点。因此，将为相似度高的节点设置更高的注意力值。从简便计算的角度出发，使用内积计算对相似度做如下简化：(,)()()pqpqcfccffahhW hW h(2)式中，cW和fW是线性映射矩阵。对注意力值进行归一化，得到：exp()softmax()exp()fpqpqpqpnn Veaee(3)式中，pqa表示目标模板特征中的q节点对搜索区域特征中的p节点的关注度。图注意力机制的展开模型如图3所示。通过加权求和，将新的搜索特征表示为：ReLU()fpqcpqvfq VahW h(4)式中，vW是线性映射矩阵。计算所有的pch(cpV)，可以得到搜索图像的响应图。图注意力机制的计算流程示意如图4所示。图3 图注意力机制的展开模型 图4 图注意力机制的计算流程示意 图4中不同的箭头样式表示独立的注意力计算。图注意力机制将每个头部的聚集特征求取平均，以获得新的搜索特征1h。传统的互相关算法仅使用了第一帧图像的中心区域作为目标模板，这意味着将大量背景信息融入了模板中。当目标的长宽比很大 师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 31 时，该算法对于目标的特征提取是不利的。因此，此处对输入到图注意力中的第一帧图像的特征fF进行了处理，提出了一种在模板补丁中标记的边界框fB监督下的目标感知模板特征区域选择机制。将fB投影到特征图fF上，可以获得感兴趣的区域fR。只有fR中的像素被视为模板特征：(,),:fffi jRFFi j(5)通过以上操作，获得的特征映射fF是尺寸张量(,)w h c，其中w和h对应模板边界框fB的宽度和高度，c是fF的通道数。每个元素,:fFi j被视为模板子图fV中的一个节点。同时，每个元素(,:)cF m n被视为搜索子图cV中的一个节点。这两个子图作为图注意模块的输入，用于信息嵌入。由于fV中的元素在特征图fF上以网格模式排列，故可以用11卷积实现式(5)的线性变换。然后，通过矩阵乘法计算所有相关分数，这有望大幅提高效率。实验发现，在每次卷积后使用批量的归一化可以有效改善算法性能。然而，由于无法预先确定不同跟踪对象对应的尺寸w和h，因此无法直接使用比例变量fF进行批量归一化操作。为了解决这个问题，重新计算fF：,0,ffFF标节点节点框中包含目的其他(6)目标节点的数量不是固定的，而是通过目标感知区域选择机制随着不同的目标模板而变化。也就是说，算法只选取目标所在真值框中的目标特征，将超出目标真值框的特征设置为0。在此简单处理后，可以大幅度过滤冗余的背景信息，在不损失目标信息的情况下，适应不同尺度的无人机目标。之后，为了适配图注意力，需要设计一个保证效率的同时提高深度特征提取能力的特征提取网络。同时，由于局部跟踪精度较高，但抗跟踪丢失能力较差，需要以双阶段结构的全局重检测功能对其进行补充，因此，需要设计一个切换策略，实现算法局部/全局跟踪自适应切换。1.3 改进MobileNetV2的特征提取网络模块构建 红外图像中无人机目标较为弱小，深层特征信息易被复杂背景湮没。为适配图注意力，特征提取阶段要在保证效率的同时，尽量提高目标特征提取的深度和精细度。同样为双阶段结构的SiamR-CNN使用AlexNet神经网络作为特征提取网络，但其网络的深度较浅，难以提取更深层次的目标特征。相较AlexNet、VGG9和Resnet10等特征提取网络，MobileNetV2网络的参数量少且运算速度较快，可以在一定程度上弥补双阶段跟踪网络在跟踪速度上的缺陷，因此，选择MobileNetV2作为GASiam算法的特征提取网络。MobileNetV2保留了MobileNetV1中的深度可分离卷积，并在此基础上增加了线性瓶颈模块和倒残差模块，前者取代了原有的ReLU非线性激活，减少了非线性计算对信息的破坏；后者与残差块类似，但深度卷积层的特征提取能力受输入特征维度限制，使用残差块会降低网络所能提取特征的能力。由此，MobileNetV2网络通过逐点卷积对特征图通道进行扩张，以丰富特征数量，从而提高精度。残差块与倒残差块的对比如图5所示。由于MobileNetV2的整体步长为32，这就导致网络最终提取出的目标特征图分辨率过低，只有77 pt。根据前面的分析，无人机目标边界框平均值近似30 pt，过低像素的特征图不利于之后孪生网络的信息嵌入，因此需要对MobileNetV2网络结构进行修改。此外，该网络为目标检测的特征提取网络，在进行目标跟踪时其分类层是冗余的。出于以上考虑，删去原网络最后用于分类的池化层和11卷积层；将网络后4层步长调整为1，修改后网络总步长为11；保留Layer4、Layer5中第一个倒残差模块和线性瓶颈模块，在Layer4、Layer5的其余层以及Layer6、Layer7的全部层中使用空洞卷积，以扩大其感受野，最后以全连接层作为输出层。改进后的MobileNetV2骨干网络结构如表1所示。32 国防科技 2023 年第 3 期（总第 340 期）图5 残差块与倒残差块的对比 表1 改进后的MobileNetV2骨干网络结构 网络层 输入 通道 步长 Layer0 1271273 44 2 Layer1 636344 22 1 Layer2 636322 33 2 Layer3 313133 44 2 Layer4 151544 89 1 Layer5 151589 134 1 Layer6 1515134 224 1 Layer7 1515224 448 1 输出层 1515448 1.4 基于运动特征提取的局部跟踪/全局搜索切换策略设计 实际红外无人机跟踪场景较为复杂。局部跟踪可以降低红外无人机目标纹理细节信息缺失带来的影响，实现更高精度跟踪；但在目标丢失情况下，采用局部跟踪策略将会造成跟踪失败，而现有研究尚未提出有效的解决措施。由此，提出一种切换策略：对图像的全局运动进行建模，并对跟踪丢失状态进行判断，使得算法可以在局部跟踪和全局重检测之间进行自适应选取，以应对红外无人机目标可能出现的丢失和受遮挡挑战。这在通用算法中是没有被考虑的。当红外探测器镜头转动或者无人机目标高速运动时，两帧间目标运动距离较大，仅靠前一帧目标的邻域信息很难实现跟踪。因此，为了实现稳定的局部跟踪，必须确保目标在图像中的相对位置不会出现太大变动，否则将切换成全局重检测算法。本算法采用Shi-Tomasi关键点检测11，通过跟踪这些点以实现对全局图像运动的建模，即计算图像序列中每个像素点局部位移引起的梯度变化，然后求其变化的关键点。将每帧图像中关键点的数量控制在5至50个，并利用LK光流法（Lucas-Kanade flow algorithm）12对这些关键点进行匹配，计算连续两帧图像间的匹配精度，从而挑选成功跟踪点。如果连续5帧的成功跟踪点的平均空间位移小于1 pt，则可以认为目标在图像中的相对位置没有出现较大变动。在精确估计背景运动的基础上，进一步提取目标的运动特征。当背景为静态时，每个像素在时域内呈正态分布，某个阈值内的像素被判断为背景，反之，被判断为运动目标。基于此假设，建立一个高斯混合模型来捕获运动目标，对比相邻帧间的像素变化情况，确定帧间目标运动区域。最后，得到精确的前景候选区域。红外无人机图像及其运动特征如图6所示。在第0007帧时，背景是静止的，即使目标很小，纹理细节信息很少，无人机目标的运动特征也十分显著。在第0013帧时，背景是动态的，场景中移动的云团极大干扰了对真实目标 师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 33 (a)静态背景 (b)动态背景 图6 红外无人机图像及其运动特征 的识别和跟踪，因此，仅凭运动特性很难为无人机的跟踪提供依据。根据以上分析，本文提出了一种切换策略，其流程如图7所示。具体步骤为：（1）当目标丢失时，利用关键点对全局图像运动进行建模，判断背景是静态还是动态。（2）对于静态背景，综合考虑无人机运动速度与其在图像中的 像素占比，认为相邻两帧之间无人机目标框应该有重叠，因此设定只有与前一帧跟踪结果的边界框重叠大于0.01 pt的提案才被视 为目标候选方案，可以依据图像中目标的运动特征，利用图注意力模块进行局部跟踪。（3）否则，认为出现跟踪漂移，局部跟踪暂停，从失败帧开始进行全局重检测。（4）当背景为动态时，移动场景会对目标的运动特征提取造成较大干扰，背景的改变也会影响局部信息的特征提取，甚至背景的变化也是镜头转动导致的。此时无人机目标在图像中的位置会产生较大变化，因此对于动态背景直接进行全局重检测，用以对抗目标丢失和跟踪漂移问题。结果表明，局部匹配模块和运动特征提取能够有效地对纹理细节信息有限的小目标进行定位，然而在遇到诸如遮挡和长时跟踪中看不见的挑战时，采用全局重检测算法更为可靠。因此，在局部跟踪和全局重检测之间进行适当切换，可以获得互补优势。在短遮挡的 图7 基于运动特征提取的切换策略流程 情况下，由于目标的可见性置信度较低，可将这些可能的轨迹保存在内存中，并使用上一次预测的位置及其相应的特征作为搜索模板，在之后的序列中继续进行搜索和匹配。2 红外无人机单目标跟踪实验结果及分析 2.1 测试条件 使用Anti-UAV公开数据集13对所提算法进行验证。对于实验结果，采取3种广泛使用的单目标跟踪指标进行评估，包括精度图、成功率图和平均重叠精度。其中，精度图表示跟踪算法估计的目标位置的中心点与人工标注的目标真值框的中心点的距离小于给定阈值的视频帧的百分比。依据常用指标，本算法设定20 pt为此指标的阈值。成功率图用来统计交并比大于设定阈值的成功跟踪帧占所有帧的百分比，并以其曲线下面积大小评估跟踪性能。2.2 消融实验 为了证明基于图注意力机制的孪生网络红外无人机单目标跟踪算法GASiam在单无人机目标跟踪领域的有效性和创新性，对每个模块逐一进行消融实验。实验采用平均跟踪精度和成功率作为评价指标，以跟踪性能较为优 越的SiamR-CNN算法作为基准跟踪算法。34 国防科技 2023 年第 3 期（总第 340 期）其消融实验结果如表2所示。表2 GASiam算法各模块消融实验结果 特征提取网络 图注意力切换策略 平均跟踪精度 成功率AlexNet 0.935 0.711改进版本1的MobileNetV2 0.932 0.708改进版本2的MobileNetV2 0.921 0.697原始MobileNetV2 0.941 0.712改进版本3的MobileNetV2（本文）0.949 0.715 2.2.1 局部特征匹配模块 针对无人机机动性和灵活性带来的尺度变化和形变问题，本文在局部跟踪算法中，提出基于图注意力机制的局部特征匹配模块，以取代孪生网络跟踪算法中常用的互相关操作进行信息嵌入。表2清晰地显示出这一改进的有效性（改进版本1和改进版本3的MobileNetV2比较）：图注意力将算法的成功率和平均跟踪精度分别提高了0.7%和1.7%，意味着所提出的算法在信息嵌入能力方面有了较大提升。在一般的孪生网络跟踪算法中，目标特征区域的大小需要预先确定，简单地对两个分支进行互相关操作不仅提取了冗余的背景信息，还损失了大量目标信息。此外，仅在目标模板与搜索区域之间使用简单的全局匹配，也造成了对目标结构及其部分级别信息的忽略。图注意力利用图神经网络建立了目标模板节点和搜索区域节点之间的局部匹配关系；利用注意力机制降低了背景的权重，实现模板分支与搜索分支间的目标特征传递；利用目标感知区域匹配，使算法可以适应不同尺寸的无人机目标，应对跟踪过程中无人机目标姿态变化导致的纵横比改变。综上，相比于互相关操作，图注意力模块对于跟踪算法的性能提升有明显作用。2.2.2 特征提取网络 不同的特征提取网络极大地影响了算法的跟踪性能。本文设计了基于改进的MobileNetV2的特征提取网络，如表2所示。相较于AlexNet，改进版本3的MobileNetV2在平均跟踪精度方面从93.5%提高到94.9%，提升了1.4%；成功率从71.1%提高到71.5%，提升了0.4%。比较原始MobileNetV2和改进版本3的MobileNetV2网络，发现改进后跟踪结果的平均跟踪精度和成功率均有提升。显而易见，本文所改进的MobileNetV2对于跟踪算法具有积极影响。相比于CNN领域的引路之作AlexNet，MobileNetV2网络在前人的基础上进行了 改进。首先，它比只有8个卷积层的AlexNet网络拥有更深层次的特征提取能力；其次，它提出的深度可卷积分离层可以借助深度方向减少网络参数和降低计算复杂度，大大提高了网络的计算性能；再次，线性瓶颈模块的引入，使得网络可以减少非线性激活函数带来的信息损失，比AlexNet保留更多的目标特征信息；最后，倒残差模块的设计，在保证了准确率和内存应用效率的同时，提升了网络的跨层梯度传播能力。本算法在此基础上进一步改进，删除了MobileNetV2网络在跟踪领域中冗余的分类层，提高了网络的运行效率；减少了网络的步长，保证了图像的分辨率，对跟踪纹理细节信息较少的红外无人机图像能力有着较为明显的提升作用；通过加入空洞卷积，在保证图像分辨率的同时，扩大了网络的感受野。由此，本文改进后的MobileNetV2网络具有更高效率、更深层次的优势，其可以保留小目标特征的颗粒度，更适配于图注意力，可以在保证目标算法运行效率的同时，提高对红外无人机目标的跟踪能力。2.2.3 切换策略模块 针对无人机快速机动造成的跟踪丢失问题，本文进一步提出了基于运动特征提取的局部跟踪/全局搜索切换策略作为图注意力的补 师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 35 充。在算法中加入切换策略，可以大幅提升跟踪性能。定量结果表现为算法的成功率和平均跟踪精度均提高了1.1%，是所有模块里对于提升算法性能贡献率最大的，这主要归功于运动特征提取对于小目标跟踪性能的提升。红外无人机目标通常非常小，并且纹理细节信息很少，这很容易导致跟踪失败。在红外摄像头、图像序列背景相对稳定时，算法通过提取运动特征，可准确得到前景候选区域，并结合局部特征匹配模块进行精准局部跟踪。当背景动态变化或者目标进行快速移动、遭遇遮挡导致丢失时，算法对目标跟踪情况进行判断，及时有效地在局部跟踪和全局重检测间进行切换，实现高精度在线跟踪，以应对目标遮挡和快速移动带来的挑战。以往的无人机跟踪算法很少考虑镜头移动问题，而此切换策略模块对全局运动进行建模，能够有效应对镜头移动和场景变化造成的跟踪丢失问题。2.3 实验结果分析 2.3.1 定量评价 将GASiam算法与常用的目标跟踪算法 进行比较，包括SiamR-CNN5、PrDiMP、DiMP50、ATOM、SiamBAN、ECO、SiamRPN+、SiamRPN、AutoTrack、SiamFC+和KCF14-23。使用精度图和成功率图作为定量评估的指标，其比较结果如图8所示。精度图中，同一阈值对应的精度数值越高，成功率图中曲线下面积越大，则说明算法的跟踪性能越好。图8可以很明显地看出本文的GASiam算法曲线均处于最上方，即比其他算法表现更优越。在Anti-UAV数据集上，与基准SiamR-CNN算法相比，GASiam在精度和成功率方面分别提高了4.2%和2.7%。性能排名前7名的目标跟踪算法在平均重叠精度方面的总体性能比较如表3所示。表3 性能排名前7名的目标跟踪算法在平均 重叠精度方面的总体性能比较 数据集 平均重叠 精度/%数据集 平均重叠 精度/%ECO 43.25 PrDiMP 72.03 SiamBAN48.62 SiamR-CNN 72.95 ATOM 58.11 GASiam 74.46 DiMP50 62.44 GASiam算法在Anti-UAV公开数据集上的得分为最高的74.46%。此外，GASiam算法与基准SiamR-CNN算法相比，有了相当大的进步，这再次表明，所提出的3个模块对于跟踪红外无人机目标具有非常优越的性能增益。为了验证GASiam算法的实时性，将其与先进的跟踪算法在Anti-UAV数据集上进行跟踪速度（单位：fps）与成功率的比较，结果如图9所示。GASiam算法的计算速度为38 fps，达到一般实时性要求的标准（25 fps）。由于GASiam 图8 GASiam算法与其他常用的目标跟踪算法的定量比较 36 国防科技 2023 年第 3 期（总第 340 期）图9 GASiam算法与其他先进的跟踪算法在 跟踪速度与成功率方面的比较 算法采用了局部/全局切换策略，与SiamR-CNN（8 fps）相比，其速度获得较大提升。另外，虽然SiamFC+（52 fps）和KCF（120 fps）的速度快于GASiam，但它们的跟踪成功率远不如GASiam算法。由此可见，GASiam算法在提升跟踪成功率的同时，保证了算法的实时性。2.3.2 定性评价 针对红外反无人机领域中常见的挑战，如尺度变化、遮挡、飞鸟干扰、复杂背景、小无人机目标等情况，将GASiam算法与其他先进算法进行定性比较，结果如图10所示。由图10可以看出，该算法在面对这些挑战时，可以实现更稳定的跟踪。图10中，黄色框为目标的真值框，绿色框为GASiam算法的跟踪结果，蓝色框为SiamR-CNN算法跟踪结果，红色框为PrDiMP算法跟踪结果，粉色框为ECO算法跟踪结果。每个图像序列选取6帧跟踪结果进行展示，并选取其中重要帧进行放大说明。在目标尺度快速变换时，由于目标感知区域选择机制的引入，GASiam算法可以对目标跟踪框进行更快速的自适应调整，所以，相比于其他算法，在图10(a)中，经过尺度快速变化后，本文算法的结果仍与目标真值相近，即能实现目标的稳定跟踪。放大帧可以看出，在尺度快速变化甚至出现模糊时，GASiam未被云团等相似目标干扰，对位置及尺度均发生改变的无人机目标亦实现了准确跟踪。在目标被景物遮挡导致跟踪丢失时，如图10(b)所示，基准SiamR-CNN算法在被遮挡后出现了跟踪漂移，其将遮挡物误判为无人机目标。而GASiam算法的全局重检测模块可以准确有效地重新捕获目标，并通过运动特征判断将两段短轨迹进行匹配，判断重检测后的目标与之前丢失的目标是同一个，并赋予相同的目标标号，形成长轨迹。这意味着GASiam算法可以在楼宇遮挡环境中，对机动的无人机目标进行稳定跟踪。同时，基于运动特征提取的局部搜索/全局重检测切换策略可以有效对抗跟踪漂移问题。如图10(c)所示，当跟踪过程中出现飞鸟目标时，一般的跟踪算法轨迹易被飞鸟干扰而出现轨迹漂移，但GASiam算法利用运动特征进行了轨迹预测，改进的局部跟踪模块可以更好地提取无人机目标的特征，增强了算法区分跟踪目标和干扰目标的能力。复杂背景情况下，基于图注意力机制的局部特征匹配模块使得GASiam算法可以在一定程度上对抗背景对于目标特征提取造成的干扰。如图10(d)所示，随着跟踪时间增长，其他跟踪算法因为复杂背景扰动导致跟踪漂移，基准SiamR-CNN算法对于复杂背景中的相似干扰进行错误跟踪，但GASiam算法仍能凭借其优越的局部特征匹配能力准确区分目标和背景，实现稳定、可靠跟踪。图10(e)中显示了几种算法跟踪小目标时的结 果对 比。放 大 帧能够 清 晰地看 出，GASiam算法在净空背景下可以实现对小目标的稳定跟踪，性能远远优于其他跟踪算法。在面对缺少纹理信息的红外小型无人机时，基准SiamR-CNN算法难以准确定位无人机目标，极易出现丢失跟踪现象；GASiam算法通过运动特征提取，将动态的目标与相对静态的背景进行区分，实现了对小目标的持续跟踪。师晓冉，等：基于图注意力机制的无人机目标红外跟踪技术 37 Ground truth SiamR-CNN PrDiMP ECO 本文方法 图10 GASiam算法与其他先进的跟踪算法在典型条件下的定性比较 38 国防科技 2023 年第 3 期（总第 340 期）3 结语 立足于城市背景下反“低慢小”无人机作战需求，本文提出了一种全新的基于图注意力机制的孪生无人机目标跟踪算法 GASiam。首先，受图神经网络和注意力模型启发，将空间注意力机制引入图神经网络，提出了基于图注意力机制的局部特征匹配模块，取代了双阶段孪生跟踪算法常用的互相关操作进行信息嵌入，有效提高了目标模板和搜索区域之间的信息传递能力，降低了复杂背景对算法提取无人机目标特征时的干扰。其次，设计了目标感知区域选择机制，自适应调整目标框尺寸，以适应无人机目标尺寸和姿态的变化。再次，为适配图注意力，为信息嵌入提供高细粒度的深度特征，利用改进的MobileNetV2进行特征提取，提高了对无人机目标特征提取的深度，有效提取了红外小目标的深层特征，同时保持了较高的计算速度。最后，提出了基于运动特征提取的切换策略，通过对目标和背景进行运动建模，判断目标丢失时的运动状态，实现了局部跟踪和全局重检测之间的动态选择，改进了静态背景下小目标的跟踪精度，提高了算法在无人机快速机动、遮挡及环境干扰等情况下的跟踪性能。实测数据表明，GASiam算法在Anti-UAV数据集上展现了良好的性能；定性实验表明，GASiam算法在应对尺度变化、小目标、飞鸟干扰、复杂背景干扰和遮挡挑战时，性能优于其他通用跟踪算法。对比基准的SiamR-CNN算法，GASiam在跟踪精度和成功率方面分别提高了4.2%和2.7%，意味着该算法在面对数据量不丰富、目标分辨率较低的情况时也可以获得良好的跟踪效果。综上所述，“图注意力机制”可以有效应对无人机穿梭楼宇时的遮挡问题，并且对于飞鸟干扰有着较好的判别效果，为城市背景下“低慢小”无人机目标跟踪提供了技术思路。预警探测是反无人机作战“观察调整决策行动”回路的重要环节，而无人机目标红外预警探测可以有效实现近距离高精度的边检测边跟踪，在城市反无人机战场上发挥重要作用。参考文献 1 李林莉,程旗,张荔,等.反无人机技术研究现状综述J.飞航导弹,2021(11):25-32.2 WU H,LI W Q,LI W Q,et al.A real-time robust approach for tracking UAVs in infrared videos C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops,Seattle:IEEE,2020:1032-1033.3 GUO D Y,SHAO Y Y,CUI Y,et al.Graph attention tr