基于联合检测的多目标跟踪方法研究.pdf

DOI:10.11991/yykj.202306016网络出版地址：https:/ Transformer 的运动预测和数据关联（Transformer-basedmotionpredictionanddataassociation，TrMPDA）联合检测跟踪方法。首先，考虑到置信度检测框的质量以及深度特征的视觉表示能力对遮挡场景下跟踪效果的影响，重新设计 TrMPDA 骨干网络中的ResNet 卷积模块，利用相邻像素和长距离像素间丰富的上下文关系指导动态注意矩阵的学习，增强深度特征的视觉表示能力，并通过边界框的宽和高估计边界框位置，提高置信度检测框的质量。其次，在本文方法中保留所有的检测框，根据阈值大小划分高置信度检测框和低置信度检测框，分别执行数据关联匹配，以此来平衡由于遮挡导致的检测框低置信度。实验结果表明本文提出的 TrMPDA 方法与典型的 Sort、JDE、Fairmot 等多目标跟踪算法相比具有更好的跟踪效果，能够应对多目标跟踪中目标遮挡的问题。关键词：运动预测；注意力机制；数据关联；卡尔曼滤波；目标遮挡；动态注意矩阵；联合检测；多目标跟踪中图分类号：TP391.4文献标志码：A文章编号：1009671X(2024)02000809Research on multitarget tracking method based on joint detectionGUOWenjie1,NIEGuohao1,WANGXingmei1,2,ZHAOYilin11.CollegeofComputerScienceandTechnology,HarbinEngineeringUniversity,Harbin150001,China2.NationalKeyLaboratoryofUnderwaterAcousticTechnology,HarbinEngineeringUniversity,Harbin150001,ChinaAbstract:Recent tracking methods based on joint detection have demonstrated high performance in multi-objecttracking.However,thesealgorithmshavelimitationsintrackingperformanceincertainscenariossuchasocclusion.Toaddressthis,thepresentpaperintroducesajointdetectiontrackingmethodbasedonTransformerformotionpredictionand data association(TrMPDA)by incorporating attention mechanism into the joint detection based multi-objecttrackingmethod.Firstly,theResNetconvolutionmoduleinthebackbonenetworkofTrMPDAwasredesignedtoaccountfortheinfluenceofthequalityofconfidencedetectionboxesandthevisualrepresentationabilityofdeepfeaturesinocclusionscenarios.Thisinvolvedutilizingthecontextualrelationshipsbetweenadjacentandlong-distancepixelstoguidethelearningofdynamicattentionmatrices,therebyenhancingthevisualrepresentationabilityofdeepfeatures,andestimatingthepositionoftheboundingboxthroughitswidthandheighttoimprovethequalityoftheconfidencedetectionbox.Secondly,intheproposedmethod,alldetectionboxeswereretained,andhigh-confidenceandlow-confidencedetectionboxesweredistinguishedbasedonathreshold.Dataassociationmatchingwasseparatelyperformed for high-confidence and low-confidence detection boxes to address potential cases of low-confidencedetectionboxesbeinginfluencedbyocclusion.Experimentalresultsdemonstratethatcomparedwithtypicalmulti-objecttrackingalgorithmssuchasSort,JDE,andFairmot,theproposedTrMPDAmethodexhibitsstrongtrackingperformance,andiseffectiveincopingwiththechallengeofobjectocclusioninmulti-objecttracking.Keywords:motionprediction;attentionmechanisms;datacorrelation;kalmanfilter;targetocclusion;dynamicattentionmatrix;jointtesting;multi-targettracking近年来人工智能在诸多领域的蓬勃发展，使得计算机视觉技术也在不断地与时俱进。计算视觉技术使计算机具有人类视觉的能力，是人工智能、机器学习和计算机图像学等领域的重要分收稿日期：20230620.网络出版日期：20231228.基金项目：重点实验室开放基金项目（KY10600220048）.作者简介：郭文杰，男，硕士研究生.王兴梅，女，教授，博士.通信作者：王兴梅，E-mail：.第51卷第2期应用科技Vol.51No.22024年3月AppliedScienceandTechnologyMar.2024支，涵盖图像处理、目标检测、姿态估计、三维重建和模式识别等多个方面，可以广泛应用于智能交通、增强现实、元宇宙和工业自动化等领域。因此计算机视觉领域的热门研究多目标跟踪也得到巨大发展1。与单目标跟踪不同，多目标跟踪则是在一段视频中同时跟踪多个目标，所要面对的场景更加复杂，也更具挑战性。除了单目标跟踪可能遇到的问题外，多目标跟踪还会遇见新目标出现、旧目标消失以及不同目标之间出现交互与遮挡的情况，这些情况极大地影响了多目标跟踪的准确度25。随着深度学习的发展，多目标跟踪出现井喷式的发展6。在多目标跟踪中数据关联部分是极其关键的一步，因此针对多目标跟踪中遮挡情况的 难 题，研 究 人 员 做 出 了 诸 多 改 进。2016 年Bewley 等7提 出 简 单 的 在 线 实 时 跟 踪（simpleonlineandrealtimetracking,Sort）算法，该算法将多目标跟踪问题看作是数据关联问题，取得良好的跟踪性能，但面对目标在图像边缘以及目标遮挡的情况，仍存在一定的局限性；针对 Sort 算法中出现的这些问题，Wojke 等8提出具有深度关联度量的在线实时跟踪（simpleonlineandrealtimetrackigwithadeepassocianmetic,DeepSort）算法，该算法设计了外观特征提取部分以及级联匹配部分来对未匹配检测框进行充分利用，并使用可变的长宽比来代替 Sort 中固定大小的检测框来提高检测框质量，以此较好地解决了多目标跟踪中的目标遮挡问题；乐应英等9针对关联匹配部分进一步改善，采用了级联筛查机制减少由遮挡带来的目标特征剧烈变化而认定为“虚新入目标”的错误跟踪现象。但是这些算法使用的边界框估计策略在针对真实场景时仍稍显不足，且其针对低置信检测框的处理策略并不合适。另一方面，由于图像的深度特征表征能力在跟踪中起到的重要作用，诸多研究通过增强深度特征的表征能力来解决遮挡问题10。Wang 等11提出一种目标检测和外观嵌入共享结构学习的多目标跟踪模型，利用检测模型特征增强外观嵌入关联步骤；Sun 等12将 Transformer 结构引入多目标跟踪领域，提出 TransTrack，将前一帧的对象特征作为当前帧的查询，并引入一组学习到的对象查询检测新出现的对象；Chen 等13提出 TransT，利用 Transformer 的核心思想，设计一种基于自注意力的自我上下文增强模块和采用交叉注意力的交叉特征增强模块进行特征融合，在不使用任何相关操作的情况下直接提取并融合搜索区域特征；Zeng 等14在 2021 年 提 出 基 于 Transformer的端到端多目标跟踪（end-to-endmultiple-objecttrackingwithtransformer，MOTR）算法。该网络将跟踪查询向量引入网络中用于预测视频中目标的完整轨迹，并设计时域聚合网络（timedomainaggregationnetwork,TAN），利用记忆机制存储被跟踪目标的状态历史信息，以增强其时间建模能力。目前基于联合检测的跟踪方法在多目标跟踪中取得良好的跟踪效果，但是面对遮挡等特殊场景时，这些算法的跟踪表现就存在一定的局限。受上述算法的启发，为了更好地应对遮挡场景，本文通过研究基于联合检测的多目标跟踪方法，结合基于注意力机制的研究，提出基于 Transformer的运动预测和数据关联（motionpredictionanddataassociation，MPDA）联合检测跟踪方法 TrMPDA。1基于 MPDA-Net 的联合检测跟踪法基于联合检测的多目标跟踪方法的数据关联方法仅关联一些得分高于阈值的检测框，抛弃得分比较低的检测框。虽然该策略对完整度较高且外观清晰的目标效果较好，但会删除被遮挡的目标，导致真实目标丢失和错误的预测轨迹。针对上述问题，提出基于 MPDA-Net 的联合检测跟踪方法，MPDA-Net 可以充分利用置信度检测框并进行二次关联匹配操作，重新找回因遮挡丢失的目标，MPDA-Net 方法通过改进卡尔曼滤波中的状态向量估计，解决因纵横比估计的目标边界框不能覆盖全部目标区域的问题，从而提高卡尔曼滤波预测边界框的质量。通过实验分析表明基于 MPDA-Net 的联合检测跟踪方法能够有效提升多目标跟踪的性能。1.1卡尔曼滤波次优估计改进将基于匀速模型假设的卡尔曼滤波作为运动模型，其主要作用是预测在视野中消失检测框的轨迹状态，从而提高多目标跟踪的准确性15。卡尔曼滤波算法是通过线性系统状态方程测量系统的输入输出数据，从而对系统状态进行最优估计的算法12。由于基于检测跟踪的卡尔曼滤波状态表征次第2期郭文杰，等：基于联合检测的多目标跟踪方法研究9x=xc,yc,s,a,xc,yc,s(xc,yc)2Dsa xc yc sx=xc,yc,a,h,xc,yc,a,hTah优估计的是框的纵横比而不是宽度，会导致对框的宽度尺寸估计不准确，MPDA-Net 方法通过改进卡尔曼滤波中的状态向量，获得更准确的宽度估计。Sort 中卡尔曼滤波状态向量由一个七元组组成即，其中为目标中心在图像平面中的坐标，为边界框的大小，为边界框纵横比，为横坐标的变化速度，为纵坐标的变化速度，为检测框大小的变化速度。但在 DeepSort 中采用八元组作为卡尔曼滤波状态向量，相比于 Sort 算法来说，仍然采用边界框纵横比，但将边界框的大小s 改为预测边界框的高度 h，添加了表示横纵比的变化速度的。在此基础上，为得到质量更高的检测框，在卡尔曼滤波状态表征估计时直接估计边界框的高度和宽度，定义卡尔曼滤波的状态向量为xk=xc(k),yc(k),w(k),h(k),xc(k),yc(k),.w(k),.h(k)T且其测量向量的方程为zk=zxc(k),zyc(k),zw(k),zh(k)T实验表明，虽然先前的卡尔曼滤波器也能够定位到目标，但是不能完全将目标包含，而使用改进状态向量后的卡尔曼滤波器得到的边界框更接近目标，实现更精确的定位，具体效果如图1 所示。改进的 KF相交部分原 KF图1改进卡尔曼滤波边界框预测对比结果1.2数据关联模块数据关联是多目标跟踪的核心，它首先计算轨迹与检测框之间的相似度，然后根据相似度采用不同的匹配策略进行匹配。位置、运动和外观特征等在数据关联中有着十分重要的作用，在短期匹配中，位置和运动相似度匹配的结果较好，而外观相似性则有助于长期匹配，尤其是在长时间被遮挡后，可以通过计算重识别（re-identification，ReID）特征的余弦相似度来衡量外观相似性，实现重新识别目标。传统多目标跟踪的数据关联方法仅关联一些得分高于阈值的检测框，删除得分比较低的检测框。虽然该策略对完整度较高且外观清晰的目标效果较好，但可能会导致完整度低和外观变化较大的目标（如被遮挡的物体）被过滤，造成真正目标的丢失和错误的预测轨迹。如图 2（a）中绿色框的行人在运动中被蓝色框行人遮挡，导致置信度分数变低，使身份标识符（Identity，ID）发生变化，在图 2（c）中被重新赋予红色框的身份，将低置信度检测框删除可能会导致被遮挡的目标被错误地识别成背景干扰。(a)清晰目标(b)目标发生遮挡(c)目标 ID 在遮挡后切换图2传统多目标跟踪的数据关联为充分利用置信度检测框，MPDA-Net 将保留所有的检测框并根据检测器产生的检测框置信度分数，通过规定的阈值将其分为高置信度的检测框和低置信度的检测框，将高置信度的检测框与所有轨迹进行第一次匹配。由于在当前帧的检测和特征提取结束后，无法确定轨迹在当前帧的准确位置，需要卡尔曼滤波预测轨迹在当前帧的位置。具体做法是通过马氏距离和余弦距离计算相似度矩阵，得到代价矩阵。马氏距离的计算公式为d1(i,j)=(djyi)TP1i(djyi)(1)djjyiiPi式中：为第 个检测框的位置，为第 个跟踪器对目标的预测位置，为卡尔曼滤波更新的协方差矩阵。余弦距离公式为d2(i,j)=min1rTjr(i)k|r(i)k Ri(2)rjjr(i)kt1t2式中：为第 检测的特征向量，为轨迹跟踪成功的集合。若马氏距离和余弦距离分别满足阈值、，则允许关联。衡量其关联可行性的公式为b(1)(i,j)=1,d1(i,j)t110应用科技第51卷b(2)(i,j)=1,d2(i,j)t2由式（1）和式（2）得到代价矩阵中任意元素为ci,j=d1(i,j)+(1)d2(i,j)通过超参数 可以控制式（1）和式（2）生成的 2 个度量对关联代价的影响，然后利用匈牙利算法进行匹配。因为遮挡、运动模糊等情况会导致检测框得分下降，从而使得检测框与轨迹难以正确匹配关联。将未匹配成功的轨迹和低置信度检测框进行二次数据关联操作，删除未匹配成功的低置信度的检测框。对于未匹配上跟踪轨迹且置信度较高的检测框，将其初始化为新轨迹。对于 2 次均未匹配上的轨迹，MPDA-Net 方法保留该轨迹 30 帧，当其重新出现时再次匹配，若超过规定时间仍未出现，则认为该轨迹已离开场景，并删除该轨迹。2基于 TrMPDA 的多目标跟踪方法为了进一步提升 MPDA-Net 方法在多目标跟踪任务中的性能，本节在 MPDA-Net 基础上提出基 于 Transformer 的 联 合 检 测 多 目 标 跟 踪 方 法TrMPDA。MPDA-Net 方法在进行特征提取时，直接利用二维特征图中的自关注获取每个空间位置上的孤立查询和键对的关注矩阵，忽略相邻键之间的上下文关系。针对上述问题，TrMPDA 重新设计 MPDA-Net 方法的骨干网络，通过相邻关键帧之间的上下文关系来指导动态注意力矩阵的学习，从而增强视觉特征的表达能力，提高多目标跟踪的性能。2.1上下文识别模块针对深度卷积网络的长距离依赖关系，受自注意力机制的影响，引入新的 Transformer 结构上下文转换（contextualtransformer，CoT）模块，该模块充分利用相邻键的上下文信息，以指导动态注意力矩阵的学习，增强视觉表示能力。通过自注意模块关注所有输入特征的位置并在嵌入空间中取其加权平均值计算位置上的响应。注意力机制是一种通过对关注目标的重要性程度进行资源分配的方法，在卷积神经网络中，注意力机制用于分配权重参数的资源。在模型训练期间，为提高目标的特征提取能力，可以将更多的权重参数分配给关注目标。通过添加注意力机制减少无效目标的干扰，提高关注目标的检测效果，从而提高模型的整体检测准确率。R传统的多头自注意力结构，通过计算（K、Q、V）三元组得具有全局上下文信息的注意力矩阵。计算结果通过 Softmax 运算来归一化获得增强空间局部关系矩阵，得到注意力矩阵：A=Softmax(R)AChkkV最后，将注意力矩阵在每个空间位置的特征向量重塑为个局部注意力矩阵，将每个网格内的所有值与经过学习得到的局部注意力矩阵进行聚合，得到所有头部聚合特征映射的级联Y：Y=V+A传统的自注意力机制只利用独立的查询键对计算注意力矩阵，没有充分利用键值对之间丰富的上下文信息，其结构如图 3 所示。K:11Q:11V:11输入特征 X相对位置Softmax输出 YHWC*HW(kk)kkCk*+*HW(kkCh)HW(kkCh)HW(kkCh)HWCkHWC键值查询值属性值图3传统自注意力结构TrMPDA 的 CoT 模块则充分利用上下文信息来指导动态注意力矩阵的学习，从而增强视觉表达能力，其结构如图 4 所示。K:11V:11键值*输出YConcat:11:11融合HWCHWCHW2CHWDHWCHWC输入特征XHWC查询值属性值HW(kkCh)图4CoT 结构第2期郭文杰，等：基于联合检测的多目标跟踪方法研究11XV11kk33K1K1A与传统的自注意力不同的是，对于输入特征，只将嵌入矩阵进行特征的映射，而其他的嵌入特征 Q 和 K 还是采用原网络的。CoT 模块不像传统自注意力一样，通过卷积对每个键值进行 编 码，而 是 对网 格 内 的 所 有 键 值 进 行卷积，获得相邻键之间的静态上下文信息，然后将获得的和矩阵 Q 进行级联，再通过 2 次连续的卷积操作得到注意力矩阵：A=K1,QWWAK1AK2CoT 模块中的注意力矩阵由查询和局部上下文信息交互生成。将注意力矩阵通过自注意力得到动态上下文：K2=V A3311K1K2区别于图 5(a)中的传统自注意力，CoT 模块是利用特征图上输入键之间丰富的上下文关系增强 Transformer 的网络结构，通过卷积挖掘键之间的上下文信息，挖掘的关键特征可以作为输入的静态表示，反映了局部邻域之间的静态上下文关联；之后将上下文的关键特征和输入查询级联并经过 2 个连续的卷积操作，生成注意力矩阵；再通过该注意力矩阵聚合所有的输入值，从而实现输入的上下文表示；最后融合静态上下文和 动 态 上 下 文，并 将 融 合 后 的 结 果 作 为CoT 模块的输出，其流程如图 5(b)所示。VQK11 卷积输出11 卷积11 卷积注意力矩阵 AXK1QK1Q注意力矩阵 AV动态上下文K2输出33 卷积X卷积33 卷积(a)传统的自注意力(b)CoT 模块 2个 11图5Transformer 注意力流程对比CoT 模块首先捕获相邻键之间的静态上下文，进一步利用该上下文触发挖掘动态上下文的自注意力。这种方式将上下文挖掘和自注意力学习结合到一个单一的体系结构中，从而增强视觉表征能力。2.2TrMPDA 的网络整体结构针对 MPDA-Net 的骨干网络在进行特征提取时，直接利用二维特征图中的自关注获取每个空间位置上的孤立查询和键对的关注矩阵，忽略相邻键之间的上下文关系。TrMPDA 重新设计MPDA-Net 的骨干网络，使用 CoT 模块取代 ResNet 中的标准卷积，通过相邻关键帧之间的上下文关系来指导动态注意力矩阵的学习，增强视觉特征的表达能力，提高多目标跟踪的性能。TrMPDA 整体网络结构包括特征提取、目标检测分支、重识别部分以及二次数据关联部分，网络的架构如图 6 所示。静态上下文动态上下文采样位置偏移量特征信息ReID 分支中心位置热图尺寸预测中心位置修正h,w位置信息检测分支cix,ciy采样位置偏移ReIDxi,yiReID 特征第一次数据关联第二次数据关联.Res-C 特征提取0.90.90.80.20.90.90.90.9图6TrMPDA 网络结构图 7 为 TrMPDA 方法的流程，具体步骤如下：1）输入相邻两帧图片，根据 Res-C 骨干网络进行特征提取，通过相邻键之间丰富的上下文信息获得包含更多运动信息的特征，得到检测框和置信度分数；highlow2）保留所有检测框，并根据置信度分数阈值和，将检测框分成高置信度检测框和低置信度检测框，并将高置信度检测框放入高置信度12应用科技第51卷DhighhighlowDlow检测集合，对于置信度分数在和之间的放入低置信度检测集合，通过卡尔曼滤波预测目标的新轨迹并通过匈牙利匹配算法与高置信度检测框进行匹配，对于未匹配成功的高置信度检测框，若在一定时间内重复出现，则初始化为新轨迹，并更新卡尔曼滤波；3）将第一次数据关联未匹配成功的轨迹与低置信度检测框进行二次数据关联，恢复因遮挡造成的低置信度检测框，对于未匹配成功的低置信度检测框视为干扰背景并删除。开始输入相邻两帧图片特征提取检测框IoU 计算匈牙利算法匹配高置信度检测框第一次关联未匹配的高置信度检测框匹配成功新轨迹低分检测框第一次关联未匹配成功的轨迹干扰背景卡尔曼滤波预测轨迹Y结束NNY大于阈值匹配大于阈值NYNY连续出现 2次图7TrMPDA 跟踪方法流程3实验3.1实验数据集本文选取公开的 MOT 数据集和 KITTI 数据集进行对比实验和消融实验。其中，MOT 数据集是一个常用的多目标跟踪算法评估基准，被广泛应用于计算机视觉、人工智能、机器学习等领域，包括 MOT15、MOT16、MOT17 和 MOT20 等多个版本。该数据集包含大量复杂场景中的多目标跟踪视频序列，涵盖不同的摄像头视角、天气、大小、目标数量、姿态和运动速度等多种场景。跟踪数据集包含街头、公园、车站、商场等各种公共场所获取的合适视频素材，通过帧间同步、目标检测、运动估计、目标标识和轨迹生成等一系列操作标注准确的目标跟踪信息，生成可供评估的MOT 数据集。KITTI 数据集是一个用于视觉场景理解和自动驾驶研究的公共数据集。该数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究所联合推出的一个多任务数据集，该数据集包括城市、乡村和高速公路等多种不同场景的目标数据，具有多种类型的数据，如高分辨率的图像序列。在多目标跟踪任务下，KITTI 主要包括车辆和行人2 种数据，其中训练集有 21 个视频序列，测试集有 29 个视频序列，3.2MOT 数据集实验结果为验证 TrMPDA 方法在多目标跟踪任务中的有效性，分别在 MOT15、MOT17、MOT20 数据集上与基线模型进行性能对比实验，结果如表 1 所示。选 取 CTracker、JDE、Sort、DeepSort 以 及Fairmot 等 5 种经典的多目标跟踪算法分别在MOT16、MOT17 数据集上进行对比实验分析，评价指标采用多目标跟踪精度（multi-objecttrackingaccuracy,MOTA）、正确识别的检测与平均真实数和计算检测数之比（IDF1Score，IDF1）、最大跟踪目标（mostlytrackedtargets，MT）、最大丢失目标（mostlylosttargets，ML）、ID 切换次数（numberofidentityswitches，IDs），其中 MOTA、IDF1、MT 取高值为优，ML 和 IDs 取低值为优。第2期郭文杰，等：基于联合检测的多目标跟踪方法研究13表1TrMPDA 与 FairMot 不同数据集的测试结果数据集MOTAIDF1MTMLIDsFairMotTrMPDAFairMotTrMPDAFairMotTrMPDAFairMotTrMPDAFairMotTrMPDAMOT150.6060.6450.6470.6690.4760.4820.1100.106591525MOT170.7370.7580.7230.7490.4320.3920.1730.2053303894MOT200.6180.6340.6730.6910.6880.3190.0760.14552434226本文将 TrMPDA 方法模型在 MOT 数据集上进行实验，实验轮次设置为 100，迭代次数为 50。由表 1 可知，TrMPDA 方法相较于 FairMot 算法在MOT17 数据集上的跟踪精度有着比较明显的优势，并且相对其他几个数据集，其多目标定位准确 率 MOTA 最 高 达 到 75.8%，IDF1 最 高 达 到74.9%，相比于 FairMot，TrMPDA 方法的多目标定位精度 MOTA 提高了 2.1 个百分点，IDF1 提高2.6 个百分点，且在每个数据集下，添加了边界框优化以及低置信度检测框联合匹配的 TrMPDA 方法的 IDs 相较于 FairMot 算法都有较明显的降低，充分验证了本文方法在面对遮挡情况的有效性。表 2 是 TrMPDA 与其他 5 种算法在 MOT16多目标跟踪数据集上的测试结果。从表 2 中可以看出，TrMPDA 相较于基于数据关联的 Sort 和DeepSort 算法均具有明显优势，远远优于链式跟踪算法 CTracker。由于本文算法同时关注数据关联以及深度特征表征，与基于多层融合特征的无锚点方法 FairMot 算法与 JDE 方法相比，本算法跟踪准确度达到最高的 77.6%，且 IDs 的表现也优于其他对比算法。表2MOT16 数据集上的跟踪效果对比算法MOTAMOTPMTMLIDsSort0.5980.7960.2540.2271423DeepSort0.6140.7910.3280.182701JDE0.6440.3540.2001544CTracker0.6760.7840.3290.2311897FairMot0.7490.6960.4320.1732145TrMPDA0.7760.7350.3920.165894图 8 为 Fairmot 算法与 TrMPDA 在俯视摄像头下的跟踪效果对比。从图 8 中可以看出，由于9 号目标的运动，导致 18 号目标被遮挡，Fairmot算法中并没有对低置信度检测框进行特殊处理，造成 Fairmot 算法在第 56 帧将 18 号目标遗漏。而在 TrMPDA 方法中采用的低置信度检测框联合匹配的策略较好地改善了遮挡情况，当视频第40 帧中的 5 号目标靠近 12 号和 33 号行人时，并未造成遗漏问题，体现了本文提出改进方法的有效性。MOT17-04#40MOT17-04#56MissedTrackedMOT17-04#40MOT17-04#56(b)Fairmot 方法跟踪结果(a)TrMPDA 方法跟踪结果图8MOT17 数据集俯视对比实验效果3.3KITTI 数据集实验结果本小节采用 KITTI 数据集中关于行人部分的数据集，将准确率作为评估指标与其他几种性能较好的多目标跟踪算法FairMot、Sort、JDE、DeepSort进行对比试验，具体的测试结果如表 3 所示。表3不同算法在 KITTI 数据集上的实验结果算法准确率IDsTrMPDA0.6961895FaiMot0.6522321Sort0.6254265JDE0.5343685DeepSort0.6733256表 3 给 出 了 TrMPDA 算 法 与 其 他 算 法 在KITTI 数据集上的跟踪效果详情。相较于 FairMot、Sort、JDE、DeepSort 这一系列性能较好的多目标跟踪算法，本文算法 TrMPDA 在特征提取网络采用 Transformer 的结构 CoT 模块，丰富键值间的上下文信息，以增强算法的可视化表示能力，因此本文方法可以达到最优准确率，并且同时还做到14应用科技第51卷了最少的 IDs。相比 Fairmot 算法，采用 CoT 模块TrMPDA 方法的准确率提升 4.4 个百分点并且ID 身份切换的次数降低了超过 18 个百分点，进一步证明了本文中提出改进的有效性。图 9 为 TrMPDA 方法在 KITTI 数据集上的跟踪效果图。图9KITTI 数据集跟踪效果3.4消融实验为评估 TrMPDA 方法不同改进点对跟踪性能的影响，在 MOT15 多目标跟踪数据集上进行消融实验，表 4 给出了 TrMPDA 不同模块对实验的影响，其中“-CoT”表示移除特征提取 CoT 模块，“-KFByte”表示移除二次数据关联，“-A”表示基线模型，从而验证同一条件下不同模块对算法的影响情况，实验结果如表 4 所示。表4TrMPDA 在 MOT15 数据集上的消融实验结果方法MOTAIDF1TrMPDA0.6450.669TrMPDA-KFByte0.6140.656TrMPDA-CoT0.6350.664TrMPDA-A0.6060.647从表 4 可以看出，通过基线模型和仅去除二次数据关联模块的实验对比，在使用改进后的REs-C 骨干网络其 MOTA、IDF1 相较于基线模型 分 别 提 高 了 0.8 和 0.9 个 百 分 点，这 表 明TrMPDA 引入基于 Transformer 的 CoT 模块，不但增强视觉表达特征也提升了跟踪性能。为验证关联策略和卡尔曼滤波次优估计改进对跟踪效果的影响，对比基线模型与仅去除CoT 模块的实验结果，可以发现通过改进卡尔曼滤波器和数据关联使得 MOTA、IDF1 分别提高2.9 和 1.7 个百分点。由表 4 可知 TrMPDA 有着良好的多目标跟踪性能。图 10 是 TrMPDA 在 MOT17数据集上的跟踪效果。从图 10 中可以看出，即使存在遮挡或者其他背景干扰，通过对高置信度检测框和低置信度检测框二次匹配，也可以很好地跟踪目标。图10MOT17 数据集上的跟踪效果4结论通过对国内外多目标跟踪算法的发展现状的分析研究，结合数据关联算法的发展以及注意力机制，针对多目标跟踪中的遮挡问题，提出基于联合检测的多目标跟踪方法，并取得较好的跟踪性能。1）通过对多目标跟踪算法中的数据关联部分进一步研究发现，基于联合检测的多目标跟踪网络中的卡尔曼滤波器在预测轨迹时，直接估计检测框的纵横比会导致定位不准的问题，并且由于重识别分支的特征中心和目标检测框的不一致，导致 ReID 特征在提取时出现偏差。针对上述问题本文构建基于 MPDA-Net 的联合检测跟踪方法，在卡尔曼预测轨迹时直接估计检测框的宽和高，添加额外的 ReID 预测偏移分支计算目标ReID 特征提取位置与目标检测框中心点的偏移，使 ReID 特征更精准。此外，由遮挡造成的目标丢失问题，通过保留所有的检测框，并将其分为高置信度和低置信度检测框进行二次匹配，提升多目标跟踪的性能。2）提出基于 Transformer 的运动预测和数据关 联 的 联 合 检 测 多 目 标 跟 踪 方 法 TrMPDA。MPDA-Net 方法在进行特征提取时，直接利用二维特征图中的自关注获取每个空间位置上的孤立查询和键对的关注矩阵，忽略相邻键之间的上下文关系。针对上述问题，TrMPDA 将 ResNet 骨干网络替换成 CoT 模块，通过相邻关键帧之间的上第2期郭文杰，等：基于联合检测的多目标跟踪方法研究15下文关系来指导动态注意力矩阵的学习，从而增强视觉特征的表达能力，提高多目标跟踪的性能。多目标跟踪领域是一个复杂的研究领域，目前已经涌现出大量不同的跟踪方法。然而大部分方法都是采用改进检测器的性能来提高跟踪的准确性。本文提出的基于联合检测多目标跟踪方法，结构相对简单，有着良好的跟踪效果。但在目标位置变换比较频繁、密集场景或者 2 个目标较为相似时，不能保证有很好的跟踪效果。同时如何缓解 Transformer 解码器中检测任务和关联之间的冲突，从而提升跟踪性能也是后续研究的重点。参考文献：韩瑞泽,冯伟,郭青,等.视频单目标跟踪研究进展综述J.计算机学报,2022,45(9):18771907.1王丽园,赵陶,王文,等.具有姿态变化鲁棒性的行人检测跟踪算法 J.计算机工程与设计,2022,43(10):28772881.2谢彬,张琨,张云纯,等.基于轨迹相似度的移动目标轨迹预测算法 J.计算机工程,2018,44(9):177183.3CHONGCY.AnoverviewofmachinelearningmethodsformultipletargettrackingC/2021IEEE24thInternationalConferenceonInformationFusion.Piscataway:IEEE,2021:19.4周雪,梁超,何均洋,等.一体化多目标跟踪算法研究综述 J.电子科技大学学报,2022,51(5):728736.5ZHOUXingyi,YINTianwei,KOLTUNV,etal.GlobaltrackingtransformersC/2022IEEE/CVFConferenceonComputer Vision and Pattern Recognition.Piscataway:IEEE,2022:87618770.6BEWLEYA,GEZongyuan,OTTL,etal.SimpleonlineandrealtimetrackingC/2016IEEEInternationalConferenceonImageProcessing.Piscataway:IEEE,2016:34643468.7WOJKEN,BEWLEYA,PAULUSD.SimpleonlineandrealtimetrackingwithadeepassociationmetricC/2017IEEE International Conference on Image Processing.Piscataway:IEEE,2018:36453649.8乐应英,徐丹,贺康建,等.低视点下遮挡自适应感知的多目标跟踪算法 J.中国图象图形学报,2023,28(2):441457.9CHEN Mingfei,LIAO Yue,LIU Si,et al.TR-MOT:multi-objecttrackingbyreferenceEB/OL.(20220330)20230415.https:/doi.org/10.48550/arXiv.2203.16621.10WANG Zhongdao,ZHENG Liang,LIU Yixuan,et al.Towards real-time multi-object trackingC/ComputerVision ECCV 2020.Cham:Springer InternationalPublishing,2020:107122.11SUNPeize,CAOJinkun,JIANGYi,etal.TransTrack:multipleobjecttrackingwithtransformerEB/OL.(20201231)20230415.https:/doi.org/10.48550/arXiv.2012.15460.12CHENXin,YANBin,ZHUJiawen,etal.TransformertrackingC/2021 IEEE/