基于可分辨特征的无人机视觉多目标跟踪.pdf

JournalAviationUniversity46Vol.34No.5ofChinaFlightofCivilSept.2023飞行学院学报中国民航基于可分辨特征的无，人机视觉多目标跟踪苏永生陈俊杰敬鸿飞邹健飞（中电科特种飞机系统工程有限公司四川成都611731)摘要：多目标跟踪是无人机视频处理的一项重要技术，该技术可以通过对目标信息进行关联获取多个目标的运动轨迹。比较常见的方法是通过基于行人重识别（RE-ID）技术提取的目标外观特征并结合空间位置和运动信息进行代价评估，最后使用匈牙利匹配进行关联。本文在此基础上进行了改进，提出了一种基于快速融合网络、差异性相关损失、轨迹特征聚类的多目标跟踪算法，所提方法具有更优的跟踪精度和处理速率。关键词：无人机多目标跟踪卷积神经网络差异性相关损失Visual Multiple Object Tracking of Unmanned Aerial Vehicle Based on Distinguishing FeaturesSu YongshengChen JunjieJin HongfeiZou Jianfei(CETC Special Mission Aircraft System Engineering Co.Ltd,Chengdu,611731,Sichuan,China)Abstract:Multiple Object Tracking(MOT)is an important technology in unmanned aerial ve-hicle(UAV)video processing,which can obtain the motion trajectory of multiple objects by associat-ing object information.An effective method is based on re-identification(RE-ID)features,spatial lo-cation and motion information,combined with Hungarian matching for correlation.This paper hasproposed the multiple object tracking algorithm based on fast merge network,distinguishing correla-tion loss,and feature clustering matching with better tracking accuracy and processing speed.Keywords:Unmanned aerial vehicleMultiple object trackingConvolutional neural networkDistinguishing correlation loss1引言多目标跟踪是无人机视频处理过程获取目标运动轨迹的一种重要技术。近年来出现了一种快速的多目标跟踪方法SORT，该方法在目标检测输出信息的基础上结合卡尔曼滤波和匈牙利匹配实现了在线实时的多目标跟踪。随着卷积神经网络技术的发展，出现了结合目标外观信息和位置信息相结合的多目标跟踪方法DeepSORTI12，DeepSORT使用行人重识别（PersonRe-identification,RE-ID）技术的特征提取方法并采用级联匹配的方法进行关联，获得了相比于SORT更优的跟踪效果。在跟踪算法的特征提取过程，DeepSORT对一帧图像中多个目标的特征提取存在卷积神经网络的多次前向推理，处理时间随着目标数量的增加而快速增加。在数据关联过程，DeepSORT通过对轨迹的最近10 0 个外观特征与当前顿的检测目标的特征进行距离计算，并取最小距离作为轨迹与目标的外观特征距离，该处理过程可以进一步优化。针对DeepSORT算法特征提取过程存在的输出特征的可分辨性相对较弱、跟踪算法处理时间随目标数量增加而增大的问题，本文提出一种基于快速融合网络（FastMergeNetwork,FMN）、差异性相关损失（DistinguishingCorrelationLoss,DCL）和特征聚类匹配（Feature clusteringmatching,FCM）的多目标跟踪方法，并能获得更优的跟踪精度和更快、更稳定的处理速率。2相关工作2.1快速特征提取在基于卷积神经网络的特征提取过程中，为提高特征提取处理速率，并降低对硬件计算资源的消耗，出现了一些轻量级卷积神经网络（如GhostNet(3)。在图像的目标检测任务中，基于两阶段的目JournalAviationUniversityofChinaFlightofCivil47Vol.34No.5中国民航飞行学院学报Sept.2023标检测如Faster-RCNN4通过引入ROIPooling实现了对目标候选区的特征提取，该方法可输出固定维度的特征信息，并可避免对大量目标候选区域重复进行神经网络前向推理的过程。同时在图像实例分割任务中，Mask-RCNN5通过引入ROIAlign,并用双向性插值代替了ROIPooling的量化操作，实现了更好的目标区域特征提取效果。因此，将轻量化的卷积神经网络结合ROIAlign对多目标跟踪的特征提取过程进行加速，是一种原理上可行的思路。2.2外观特征关联多目标跟踪算法DeepSORT在SORT算法的基础上增加了外观特性的关联匹配。外观特性匹配过程需通过对第x个轨迹的最近10 0 个外观特征向量与当前帧第个目标的特征进行相似度计算，并提取距离最小（相似度最高）的数值作为第x个轨迹与第个目标的外观特征距离，进一步可通过构建目标与轨迹的外观特征距离矩阵用于匹配，外观特征距离计算如公式（1）所示：d(2)(x,y)=min(1-r,r,(*)|r(c)e R,)(1)其中，d(2)(x,y)为第x个轨迹与第个目标的外观特征距离，为第个目标的特征向量，r(）为第个轨迹的第k个特征向量，且满足1k100。R,为rk(*)构成的特征向量矩阵。DeepSORT在匹配关联过程将外观特征距离矩阵融合空间距离矩阵（x,J）（卡尔曼滤波预测状态与目标状态测量值之间的马氏距离矩阵）生成代价矩阵Cxy，如公式（2）所示，最后通过对Cxy进行级联匹配输出关联结果。Cx.,y=.d(x,)+(1-2)a(2)(x,y)（2)3提出的方法3.1快速融合网络(FMN)DeepSORT的特征提取方法是将目标从原始图像中截取，然后将目标图像区域通过尺度缩放为固定大小的图片，再将缩放后的图片经过CNN提取特征。随着图像中目标数量的增加，主干网一般需要进行多次前向推理，这会导致特征提取耗时的增加。为降低主干网的前向推理次数，提出快速融合网络的特征提取方法。该方法可一次性将原始图像经过GhostNet处理，通过融合不同stage的特征，并通过ROIAlign将融合特征和目标检测得到的目标矩形区域相结合，输出固定维度的特征向量，最后经过全连接（FC）层和归一化（No r m a l i z a t i o n）获得目标的输出特征向量（Emb e d d i n g），网络结构如图1所示。特征提取过程将输入图像的尺寸缩放为32 的倍数，P2、P3、P4分别为GhostNet的stage2（4倍下采样）、stage3（8 倍下采样）、stage4（16 倍下采样）的输出。CBL为Conv、Ba t c h No r m a l(BN）、Le a k y R e LU 层的组合，CBLG是ConV、BatchNormal、Le a k y R e LU、G h o s t Bo t t l e n e c k 3 的组合，CB为Conv、Ba t c h No r m a l 的组合。CBL1、CBL2、CBLG、CB的详细参数如表1所示。CB输出的融合特征的通道数为6 4。ROIAlign处理后的每个目标的特征维度为57 6（6 433），最后经过FC层及归一化(Normalization）后输出特征(Embedding）的维度为2 56。Merged FeatsreObyactDerectionOutpatPersoP2CBIGConcat0/4)upsampleGhostNetP3CBL2ConcalROLAIgnunsamoleCa1.P4NoumalizationCatCBL1(1/16)Paraon图1快速融合网络JournalAviationVol.34No.5UniversityFlightofChinaofCivil48Sept.2023飞行学院学报中国民航表1特征提取网络参数模块网络层扩展通道输出通道卷积核尺寸卷积步长CBL1Conv、BN、Le a k y R e LU4031CBL2Conv、BN、Le a k y R e LU8031Conv、BN、Le a k y R e LU4031CBLGConv、BN、Le a k y R e LU4031GhostBottleneck804031Conv、BN、Le a k y R e LU4031CBConv、BN64113.2差异性相关损失（DCL）DeepSORT特征提取训练采用softmax结合交叉来进行损失计算，其前向推理获取目标输出特征（Embedding）的过程与训练计算Loss过程的网络结构不完全一致，其在训练过程需要增加额外的FC层以将特征维度转化为分类所需的维度。其训练过程并非直接对目标输出特征进行监督，而是对FC层之后的经过维度转换后的特征进行监督，这不利于促使输出特征具备高的区分性：同一目标具备更高的特征相关性，不同目标具备更低的特征相关性。为提升目标输出特征的区分性，提出了一种差异性相关损失(DCL)计算方法。DCL方法是对于同一帧图像中的不同目标，计算顿内相关损失（使用低相关性对目标的输出特征进行监督）。对于不同顿图像中的同一目标，计算顿间相关损失（使用高相关性对目标的输出特征Embedding进行监督）。差异性相关损失LDCL的计算公式如公式（3）所示：LpcL=Limra+Leross(3)其中Linira为内相关损失，Leross为帧间相关损失，Linra的计算方法如公式（4)：(4)i=0这里将训练视频序列中连续b帧图像构建一个batch，并定义同时在b顿图像中存在的目标为训练有效目标，m为b帧图像中训练有效目标的总数。E,=eo,ej,e2,.,em-l，e k （k =O,1,2,.,m-1）为第i帧的第k个目标的输出特征向量，（）为矩阵转置，由于目标输出特征向量为归一化的向量，因此任意两个目标输出特征向量的余弦相似度等于其向量内积，ETE,为同一帧图像中所有目标的输出特征向量之间的余弦相似度构成的矩阵。l，为Frobenius范数。C,为第i顿图像的目标像素的相关系数矩阵，如公式（5）所示。其中cs，是第i顿图像的第s个目标的像素值向量I,(z)和第1个目标的像素值向量I(z)的pearson相关系数，如公式（6）所示，其中N为像素向量的大小，且N=w*h*ch，W、h、c h 分别是目标缩放后的图像宽度、高度、通道数。另外，对于pearson相关系数cs，其数值受目标外观特性（图像像素相关性）影响，目标的外观特性越相似，c，的数值就越大，cs,E-1,1。C,=（5)1m-1,0m-1,m-1Z（m)1(2)1-01,(2)-1-0NN2=0(6)2N2NN（2)1(2)n=0n=0NNZ=02=0公式（3）中的顿间相关相似度Leross的计算方法如公式（7）所示，e和ek（k=0，1,2,.,m-1)分别为第i帧和第顿的第k个目标的特征向量。m-1Lea=Z2(7)ijk=0根据顿间相关损失、顿内相关损失的计算过程，我们通过对不同顿图像的同一目标的输出特征向量的余弦相似度采用1进行监督，对同一顿图像的不同目标输出特征的余弦相似度采用c，进行监督，以实现特征提取的区分性。下转第53页）JournalAviationUniversityFlightofChinaofCivilVol.34No.549中国民航Sept.2023飞行学院学报3.3轨迹特征聚类(FCM)为降低多目标跟踪算法的目标外观特征向量与轨迹特征向量的距离计算复杂度，并减少算法运行过程轨迹特征的存储空间，提出了一种基于轨迹特征聚类的外观特征距离计算方法。处理过程描述如下：（a）首先执行初始化，设置轨迹特征聚类的聚类中心最大值为Umax，并定义U为轨迹特征的聚类中心数，对于新创建的第x个轨迹，设置最新匹配到的一个目标的特征为其第一个轨迹特征。即轨迹初始化时，其轨迹特征中心数U取值为1。（b）对于当前视频顿中检测到的目标，计算第个目标与第个轨迹之间的外观特征距离矩阵(2)(x,y)，如公式（8），其中r为第个目标的特征向量的转置，r为第x个轨迹的特征聚类的第9个聚类中心。d(2(x,y)=min(1-r,r,()/qE1,N,NNmr)(8)(c）使用d(2)(x,Jy)代替d(2)(x,J)进行公式（2）中的代价矩阵计算，并完成DeepSORT算法中相同的级联匹配处理。（d）将经过（c）步骤得到的与第x个轨迹匹配的目标标记为*。若x个轨迹的轨迹特征的聚类中心数U小于聚类中心最大值Umax，则执行U=U+1，并进行下一帧图像的处理，即跳转至步骤（b）；否则搜索与第个目标距离最小的轨迹特征聚类中心9，如公式（9)q=argmin(l-r,r,(qe,mar(9)(e)更新第个轨迹的第q个特征聚类中心的数值（），如公式（10）所示，其中为聚类中心更新系数。最后循环执行步骤（b）至（e）直至视频处理结束。,()=(1-)r,(*)+.ry(10)4实验评估关于训练数据集：因DeepSORT的特征提取采用RE-ID的特征提取方法，要求训练数据集具备行人重识别数据集的数据格式（DeepSORT中采用MARS数据集训练），而所提算法适合直接应用多目标跟踪数据集（MOT数据集或Visdrone多目标跟踪数据集）进行训练。所提方法的实验评估过程采用Visdrone2020l6多目标跟踪数据集作为训练数据集。关于测试数据集：因为MOT竞赛网站的测试数据集的标注信息并未公开，且MOT在线指标评估的账号申请及测试申请过程非常困难。这里采用MOT177)公开的训练数据集作为本文指标评估的测试数据集。实验评估在具备NvidiaQuadroP5000显卡的硬件环境上进行，在测试数据集上进行性能对比，比较项包括特征提取耗时的平均值（T j r a）、特征提取耗时的标准差（Ta）、跟踪算法耗时（含特征提取与关联匹配）平均值（T i r a c k）、跟踪算法耗时标准差（Tk），相关处理耗时统计结果详见表2，其中FMNSORT为快速融合网络FMN结合DeepSORT中的融合外观特征和运动状态的级联匹配，FMNFCM为所提算法（结合FMN和FCM处理过程）表2 跟踪处理时间TfoalTrackT跟踪算法(ms)(ms)(ms)(ms)DeepSORT17.38538.095338.472122.3875FMNSORT16.09431.797834.521712.3761FMNFCM16.09431.797831.76039.1342另外，所提算法在测试集(MOT17数据集）上进行评估，评估指标包括MOTA、M O T P、MT、M L、I D S、I D F1、I D P、I D R，评估结果详见表3。当=0.3时，所提算法可以获得相对较好的多目标跟踪精度。表3跟踪结果跟踪算法MOTATMOTP1MTMLIIDSIIDF1IDPIDRDeepSORT61.382.9164132148060.574.350.9FMNSORT62.582.916412970261.475.651.7FMNFCM(=0.1)63.182.916612870261.475.651.7FMNFCM(=0.3)63.282.916712569861.875.752.3FMNFCM(=0.5)62.982.916512770361.575.751.8JournalAviationUniversityofChinaFlightofCivilVol.34No.553中国民航飞行学院学报Sept.20234.3.4指挥调度设计用户通过指挥调度平台一方面接收和处理上级下达的命令，另一方面生成和下达对航空平台的飞行计划和探测任务。同时，通过使用指挥平台的语音通信功能，可以实现与航空平台、上级机关、友邻单位之间进行双向语音通信，从而实现其指挥调度的功能。4.3.5情报处理设计应急指挥系统的核心是应对突发事件，其关键在于快速获取和综合分析相关信息，并在此基础上形成决策，制定行动方案，行使其应急指挥的职能。因此系统的情报处理能力尤为重要。5结束语本文针对航空应急救援领域特种航空飞行作业需求，提供基于空管技术，结合卫星/5G、遥感、大数据、云计算、人工智能、区块链等前沿技术打造的面向多灾种全时空实时感知、全周期实时监控、空天地一体化智能监测、指挥、控制和评估的综合性信息化业务平台的解决方案，对航空应急救援具有一定的借鉴意义。（上接第49页）5结论所提算法（FMNFCM）通过基于快速融合网络、差异性相关损失、轨迹特征聚类技术实现了具有相对于DeepSORT更好的多目标跟踪性能：（1）具备更快、更稳定的视频处理速率；（2）可获得更优的目标特征区分性，并在MOT17数据集上可获得相对较好的跟踪结果。参考文献1 Bewley A,Ge Z,Ott L,et al.Simple online andrealtime trackingCJ/2016 IEEE international confer-ence on image processing(ICIP).IEEE,2016:3464-34682 Wojke N,Bewley A,Paulus D.Simple online andrealtime tracking with a deep association met-ricC/2017 IEEE international conference on image参考文献1曹海峰.国家航空应急救援体系构建、框架与路径J.中国公共安全(学术版)，2 0 14（4)2袁锋国家航空应急救援体系建设 中国民用航空，2 0 10（10）3陈孝明.国内外航空应急救援发展现状综述军民两用技术与产品，2 0 18（4）：154高小强，张致源我国航空救援现状与发展思考J.现代管理科学，2 0 10(6):8 6-8 75高健，张兵国外航空应急救援现状与启示中国民用航空，2 0 10(10):2 2-2 26HuangRongbing,KimS，1MenezesMBC.Facilitylocation for large-scaleemergen-ciesJ.Annals of Operations Resear，22010，181(1):271-2867 Saadatseresht M，M a n s o u r i a n A，T a l e a iM.Evacuation planning using multiobjective evolu-tionary optimization approach J.European Journal ofOperational Research,2009(1):305-314processing(ICIP).IEEE,2017:3645-36493 Han K,Wang Y,Tian Q,et al.Ghostnet:Morefeatures from cheap operationsCj/Proceedings of theIEEE/CVF Conference on Computer Vision and Pat-ternRecognition.2020:1580-15894 Ren S,He K,Girshick R,et al.Faster r-cnn:To-wards real-time object detection with region proposalnetworksJ.Advances in neural information pro-cessing systems,2015,28:91-995 He K,Gkioxari G,Dollar P,et al.Mask r-cnnC/Proceedings of the IEEE international con-ference on computer vision.2017:2961-29696 Zhu P,Wen L,Du D,et al.Detection and TrackingMeet Drones ChallengeJ.IEEE Transactions on Pat-tern Analysis&Machine Intelligence,2021(1):1-17 Milan A,Leal-Taix L,Reid I,et al.MOT16:Abenchmark for multi-object trackingJ.arXiv pre-print arXiv:1603.00831,2016