改进TransTrack多目标生猪行为跟踪方法.pdf

改进 TransTrack 多目标生猪行为跟踪方法涂淑琴，黄正鑫，梁云，黄磊，刘晓龙（华南农业大学数学与信息学院，广州510642）摘要：高效准确地监测群养生猪的行为变化以获取其生理、健康和福利状况，对于实现生猪智能精细化养殖具有重要意义。针对猪场自然场景下光照变化和猪只粘连遮挡等因素影响，使得猪只行为跟踪中存在误检、漏检和身份频繁错误变换问题，该研究提出一种改进的 TransTrack 多目标生猪行为跟踪方法。首先，在目标检测模块中，采用改进的并集交并比的匹配算法，去除猪只遮挡导致的目标误检检测框。然后，在跟踪模块中，根据高低匹配阈值进行 2 次数据关联，提高光照变化下漏检目标的跟踪准确性。最后，针对误检与漏检导致跟踪中猪只身份错误变换，根据猪栏中猪只数量信息，限制猪只身份编号值的错误增加，提高猪只身份准确识别率。在公开数据集和私有数据集上的试验结果表明，改进的 TransTrack 在多目标跟踪准确率（multipleobjecttrackingaccuracy，MOTA），高阶跟踪准确率（higherordertrackingaccuracy，HOTA）和身份变换（identityswitches，IDs）分别为 92.0%、69.8%和 210。在公开数据集中，对比Trackformer，JDE 和 TransTrack 模型，改进的 TransTrack 方法在 MOTA 分别提高 3.9，9.0 和 13.1 个百分点，HOTA 分别提高 1.3，9.5 和 8.3 个百分点，IDs 分别降低 136，326 和 376。在私有数据集中，对比 Trackformer和 TransTrack 模型，改进的 TransTrack方法在 MOTA 分别提高 14.4 和 15.8 个百分点，HOTA 分别提高 1.8 和 9.5 个百分点。结果显示，改进的 TransTrack 方法能够更加稳定地实现对群养生猪的行为跟踪，为群养生猪行为识别与智能分析提供技术支持。关键词：识别；多目标跟踪；生猪；TransTrack；数据关联doi：10.11975/j.issn.1002-6819.202303189中图分类号：TP391.4文献标志码：A文章编号：1002-6819(2023)-15-0172-09涂淑琴，黄正鑫，梁云，等.改进 TransTrack 多目标生猪行为跟踪方法J.农业工程学报，2023，39(15)：172-180.doi:10.11975/j.issn.1002-6819.202303189http:/www.tcsae.orgTUShuqin,HUANGZhengxin,LIANGYun,etal.Methodsformulti-targettrackingofpigactionusingimprovedTransTrackJ.TransactionsoftheChineseSocietyofAgriculturalEngineering(TransactionsoftheCSAE),2023,39(15):172-180.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202303189http:/www.tcsae.org0引言生猪产业作为中国经济的重要组成部分，其降本增效对经济发展具有重要意义1。为了在大规模生猪养殖中降低成本、提高效益，数字化信息技术被广泛应用，并成为未来发展的方向。然而，在目前的生猪养殖中，群养生猪的行为监测主要依赖于人工，这导致管理成本高、存在人畜交叉感染的风险2-3。为应对这些挑战，深度学习技术已被应用于生猪行为监测中，实现非接触式和低应激的健康监测，提高猪只福利和经济效益4-5。在猪只行为识别领域，基于深度学习的猪只行为与姿态识别研究已取得许多成果6-10。例如，在猪只行为识别方面，ZHENG 等6研究猪只站立、坐、趴卧和侧卧识别，CHEN 等7研究生猪的攻击性行为。SHAO 等8研究生猪站立、俯卧、侧卧和探索行为。在姿态识别方面，RIEKERT 等9研究生猪姿态检测，平均精度为80.20%。王鲁等10研究母猪 4 种姿态识别，包括跪立、站立、坐和躺卧姿态，取得平均精度为 98.20%的性能。以上研究在特定条件下达到较高精度，猪只行为与姿态识别取得一定进展，但缺乏对不同光照场景下的充分试验，在不同光照场景及猪只粘连密集遮挡下，准确识别猪只姿态行为仍存在一定挑战，且上述研究仅对图像中猪只行为进行静态识别，无法实现对视频中每头猪只的行为进行动态的自动跟踪。多目标跟踪(multipleobjecttracking，MOT)算法在给定视频中对多个感兴趣的目标进行定位，维持个体ID号，跟踪每个个体的运动轨迹11。常用的 MOT 算法包括 SORT12、DeepSORT13、JDE14、ByteTrack15、TrackFormer16和 TransTrack17等。近年来，MOT 算法也引入猪只视频监控应用中。例如，张伟等18利用CenterNet+DeepSORT 模型实现了断奶仔猪的检测和多目标跟踪，改善了猪只外观相似和遮挡情况下的跟踪效果。文献 19-20 提出基于 YOLOv5s 及 YOLOX-S 的改进 DeepSORT 算法，改善了猪只重叠与遮挡造成的猪只身份编号（ID）频繁跳变。文献 21 利用一种 JDE 群养生猪 MOT 方法，实现了实时的跟踪效果。文献 22 提出改进 ByteTrack 多目标跟踪算法用于群养生猪行为跟踪，该方法提高了跟踪的性能和效率。虽然上述研究在猪只目标跟踪领域取得了一定的进展，然而这些方法中的检测器、跟踪器和外观模型是分开训练，在目标检测、跟踪和重识别任务之间缺乏有效的信息交互利用，在复收稿日期：2023-03-27修订日期：2023-06-30基金项目：广州市重点研发计划（202206010091）；广州市重点研发计划项目（2023B03J1363）作者简介：涂淑琴，博士，讲师，研究方向为图像处理与计算机视觉。Email：通信作者：梁云，博士，教授，研究方向为图像处理与计算机视觉。Email：第39卷第15期农 业 工 程 学 报Vol.39No.151722023年8月TransactionsoftheChineseSocietyofAgriculturalEngineeringAug.2023杂场景下，容易出现猪只漏检、错检和 ID 频繁跳变等问题。另外，上述多数研究仅完成了生猪目标跟踪，未将生猪行为信息与跟踪相融合，因此，需要进一步将猪只行为与跟踪任务进行融合，以实现对每头生猪行为的准确自动跟踪。针对上述问题，本文提出一种改进的 TransTrack 多目标生猪行为跟踪方法。首先，该方法采用 TransFormer网络实现目标检测、跟踪和重识别的信息交互，同时，在目标检测模块中采用改进的并集交并比匹配算法，消除猪只遮挡导致的错误检测框；然后，在跟踪模块中，引入不同的匹配阈值，进行 2 次数据关联，以确保在不同光照条件下准确跟踪漏检目标。为解决误检和漏检引起的猪只身份错误变换问题，利用猪栏猪只真实头数的先验信息，更正猪只身份错误变换，实现准确的猪只身份识别；最后，在跟踪轨迹中引入猪只行为信息，构建生猪多目标行为跟踪模型，为实现猪只行为分析提供可靠的技术支撑。1试验数据本研究使用公开数据集和私有数据集进行试验。其中，公开数据集来自文献 23，包含 23 个猪舍监控视频段，每个猪舍中的猪只数量不同，范围为 716 头，涵盖白天和夜晚的不同时间段，共包含图像 6900 张。其中，12 个视频段用于模型训练和验证，其余 11 个视频段用于测试。私有数据集为 8 个视频段，包含 2400 张图像，在佛山商业猪场进行拍摄，包括 08:0010:00 和 15:0016:00 的晴天和阴天，每个猪舍有 611 头猪只，其中 4个用于训练，4 个用于测试。每个视频段的时长为 1min，帧率为 5 帧/s，每个视频都包含 300 张图像。这 2 个数据集中都包含具有不同日龄、大小和数量的猪只视频。根据时间段的不同将猪只的活动水平分为3类：白天的高活动、白天（或夜晚）的中等活动、白天（或夜晚）的低活动。其中，猪只活动水平21定义如下：根据视频的人工观察结果，在白天（10:0012:30）猪只的饮食和玩耍等行为较频繁，此时间段定义为猪只白天的高活动水平。在白天（12:3017:00）或夜晚（17:0020:00）猪只的饮食和玩耍等行为没有白天（10:0012:30）高，此时间段定义为白天或夜晚的中等活动水平。在白天（07:0010:00）或夜晚（20:0007:00）猪只的饮食和玩耍等行为较少，躺卧行为较多，此时间段定义为白天或夜晚的低活动水平。详细的测试视频如表 1 所示。表1测试数据集Table1Testdataset数据集Dataset视频编号Vedionumber白天Day黑夜Night活动水平Activitylevel猪只个数Numberofpigs公开数据集Publicdataset0102高70402中150502中80602高160702中120802低130902中141002中141102高161202低151502中16私有数据集Privatedataset1602低111604中111701高61703低6部分数据样本如图 1 所示，其中图 1a 是公开数据集的示例，图 1b 是私有数据集的示例。在生猪各个生长阶段中,躺卧、饮食和站立是猪只行为研究的基础需求，对猪只的这些行为进行追踪，能更好地了解猪只生长过程的心理和生理状态，满足猪场管理实际需求。因此，本研究将生猪的行为分为 4 个类别，分别是躺卧、饮食、站立和其他。a.公开数据集a.Public datasetb.私有数据集b.Private dataset视频0102Video 0102视频0702Video 0702视频1502Video 1502视频1602Video 1602视频1604Video 1604视频1701Video 1701图 1部分生猪图像Fig.1Partofgroup-housedpigimages2改进的 TransTrack 多目标生猪行为跟踪方法针对 TransTrack 方法在猪场环境下，由于遮挡和重复 检 测 导 致 跟 踪 性 能 下 降 的 问 题，提 出 改 进 的TransTrack 方法，其工作流程如图 2 所示。该方法分为FtFt1特征提取和检测与跟踪模块两部分，首先，将视频输入到特征提取模块，利用基于残差网络的骨干网络提取连续 2 帧图像的特征（，），将其组合为全局特征图后，融合位置嵌入信息输入 TransFormer 编码器；然第15期涂淑琴等：改进 TransTrack 多目标生猪行为跟踪方法173FtFt1后，将编码之后的连续 2 帧图像特征（编码，编码）输入到 2 个 TransFormer 解码器网络，分别输入前馈网络，形成目标检测网络和跟踪网络，产生目标检测框和跟踪框；最后，将检测框和跟踪框进行并集交并比（completeintersectionoverunion,CIOU）数据关联匹配，输出多目标跟踪图像序列结果。.解码器Decoder解码器Decoder.编码器Encoder位置嵌入Position embedingFt特征Ft featureFt1特征Ft1 feature特征提取模块Feature extraction module骨干网络BackboneFt编码Ft encodeFt1编码Ft1 encodet视频输入Video input视频输出Video output可学习目标查询Query of learnable objectives跟踪查询Tracking query前馈网络Feedforward network前馈网络Feedforward network检测与跟踪模块Detection and tracking moduleCIOU匹配CIOU matching卷积网络CNN数据关联Data association图 2改进的 TransTrack 多目标生猪行为跟踪方法Fig.2BehaviortrackingflowchartofimprovedTransTrackongroup-housedpigs2.1TransFormer 编码器和解码器FtFt1TransTrack 的关键模块为 TransFormer 编码器和解码器。TransFormer 编码器结构如图 3a 所示，首先对输入的连续 2 帧图像特征进行自注意力处理，然后通过前馈网络和 2 次残差连接正则化处理，对特征进行增强处理，输出增强的特征，分别为和编码。TransFormer 解FtFt1码器结构如图 3b 所示，以前一帧的目标特征和当前帧的可学习目标作为跟踪和目标查询，将目标查询和跟踪查询通过自注意力学习和 1 次残差连接正则化处理，分别与编码器输出的图像特征（编码，编码）进行交叉注意力，经过 2 次残差连接正则化和前馈网络处理，产生增强的目标特征和跟踪特征，获得跟踪目标和检测结果。a.编码器a.Encoder自注意力残差连接前馈网络残差连接图像特征输出b.解码器b.Decoder自注意力残差连接跟踪查询交叉注意力前馈网络残差连接残差连接跟踪特征自注意力残差连接目标查询交叉注意力前馈网络残差连接残差连接目标特征输出输出编码器输出图 3TransFormer编码器和解码器Fig.3TransFormerencoderanddecoderTransFormer 编码器和解码器采用相同的训练损失，损失函数 计算式为：=clscls+L1L1+GIOUGIOU（1）cls式中为预测的类别和真实类别之间的 Focalloss24，174农业工程学报（http:/www.tcsae.org）2023年L1GIOUclsL1GIOU为归一化后的预测框中心点坐标与真实坐标之间的 L1损失，为归一化后的预测框宽度和高度与真实框宽度和高度之间的广义交并比（generalizedintersectionoverunion,GIOU）损失25，和都是固定系数。2.2数据关联方法TransTrack 在 MOT 任务取得优秀的性能，然而，TransTrack 在数据关联匹配中采用 GIOU，无法应对遮挡和重复检测等问题造成的目标跟踪性能下降的挑战。因此，本文在基本的 TransTrack 方法基础上，对检测和跟踪模块两部分进行有效改进。1）检测模块的重叠框修正和改进数据关联算法首先，在目标检测中计算检测框之间的重叠程度，根据设定阈值去除重叠的多余检测框；然后，根据检测置信度将无重叠的检测框分为高分和低分的目标检测框。同时，将 4 种猪只行为类别信息引入目标分类中。最后，在轨迹跟踪中，使用 CIOU 分别对高分和低分目标检测框进行 2 次数据关联，并在轨迹框中增加 4 种行为类别参数，实现猪只行为跟踪。2）跟踪模块的 ID 修正处理在群养生猪自然场景下，由于目标误检或者密集遮挡等原因，TransTrack 存在猪只频繁的 ID 错误变换。针对该挑战，本文根据养猪场猪栏中猪只数量在一段时间内固定的特点，在对群养生猪进行跟踪时，通过优化轨迹 ID 的赋值方法，限制 ID 的增长，减少猪只 ID 频繁错误切换。对轨迹 ID 的修正处理流程如图 4 所示。目标检测结果检测框得分是否大于阈值N丢弃检测框检测框放入DYD与轨迹T进行两次匹配是否第一帧NY按照D的数量给轨迹分配ID得到第一次未匹配的检测框Dunmatch _ 1,未 匹配 的轨 迹Tunmatch和已匹配轨迹TmatchDunmatch_1和Tunmatch采用欧氏距离进行聚类匹配得到第二次未匹配的检测框Dunmatch_2和已匹配轨迹TmatchDunmatch_2是否为空结束匹配YN在Dunmatch_2中阈值大于0.4的检测框赋予一个在Tmatch中不存在的ID号结束匹配注：D 为置信度得分大于阈值的检测框，T 为轨迹，Dunmatch_1为第一次未匹配的检测框，Tunmatch为未匹配的轨迹，Tmatch为已匹配轨迹，Dunmatch_2为第二次未匹配的检测框Note：Disthedetectionboxwithconfidencescoregreaterthanthethreshold,Tis the track,Dunmatch_1 is the first unmatched detection box,Tunmatch is theunmatched track,Tmatch is the matched track,and Dunmatch_2 is the secondunmatcheddetectionbox图 4跟踪模块的 ID 处理Fig.4IDprocessingfortrackingmodules由图 4 可知，跟踪模块的 ID 处理过程中，将目标检测结果中，置信度得分大于阈值的检测框放入 D 中。若nn为第一帧，创建一个新的轨迹 T=T1,Tn，按 D 数量从1,，给轨迹 T 的 ID 赋值。否则，将 D 与 T 进行两次匹配，得到第一次未匹配的检测框 Dunmatch_1,未匹配的轨迹 Tunmatch和已匹配轨迹 Tmatch。对 Dunmatch_1和 Tunmatch采用欧氏距离进行聚类匹配。产生第二次未匹配的检测框 Dunmatch_2和匹配轨迹 Tmatch。若 Dunmatch_2为空，说明检测框 D 和轨迹 T 匹配成功；否则，依次给 Dunmatch_2里每一个阈值大于 0.4 的检测框，从小到大赋予一个在 Tmatch中不存在的 ID 号，并更新 Tmatch。2.3试验平台本文所有试验在同一台计算机上完成，使用 Linux作为试验平台，采用 ubuntu20.04 操作系统，硬件配置为 12thGenIntel(R)i9-12900KFCPU，NVIDIAGeForceRTX3090GPU，32G 内存，Pytorch 版本 1.11.1，Python版本 3.8，CUDA 版本 11.3。训练过程中设置图片尺寸为 19201080 像素大小，批处理大小设置为 2，初始学习率为 0.0002，动量设置为 0.9，共训练 40 个迭代轮次，使用随机梯度下降法(stochasticgradientdescent,SGD)进行优化，高低匹配阈值分别为 0.8 和 0.4，去除重叠框阈值为 0.7，保存训练过程中精度最高的模型参数进行试验测试。多目标跟踪器的性能，选择高阶跟踪准确率（higherordertrackingaccuracy，HOTA）、多目标跟踪准确率（multipleobjecttrackingaccuracy，MOTA）、识别 F1值（identificationF1Score，IDF1）和身份变换（IDswitches，IDs）等作为主要评价指标26-27。HOTA 将精确的检测、关联跟踪和定位进行统一度量，MOTA 衡量跟踪器在检测物体和保持轨迹跟踪的性能。IDF1 和 IDs为体现跟踪目标标号 ID 的变换值指标，其大小反映轨迹跟踪能力。MOTA 数值越高，检测与跟踪效果越好；IDF1、HOTA 和 IDs 更侧重反映跟踪器性能，IDF1 和HOTA 数值越高，性能越好，IDs 值越小，性能越好。3试验结果与分析3.1改进 TransTrack 和其他 MOT 方法对比在公开和私有数据集中，对比Trackformer、JDE和TransTrack，改进 TransTrack 试验结果如表 2 所示。在公开数据集中，改进 TransTrack 的 MOTA 为 92.4%，HOTA 为 72.1%，IDs 为 147。对比 Trackformer、JDE和 TransTrack 的 MOTA 分别高 3.9，9.0 和 13.1 个百分点，HOTA 分别高 1.3，9.5 和 8.3 个百分点，IDs 分别降低 136，326 和 376。在私有数据集中，改进 TransTrack的 MOTA 为 91.5%，HOTA 为 62.5%，IDs 为 63。对比Trackformer 和 TransTrack 的 MOTA 分别高 14.4 和 15.8个百分点，HOTA 分别高 1.8 和 9.5 个百分点。试验结果表明，改进 TransTrack 的跟踪性能优于Trackformer、JDE 和 TransTrack。原 因 在 于 改 进TransTrack 在去除重叠框后，采用 CIOU 进行 2 次数据关联，能有效地避免由于光线变化或猪只遮挡导致的猪只漏检情况，并利用 ID 修正处理算法，提高 MOT 性能。因此，改进 TransTrack 算法的性能指标优于其他算法，表明本研究所提改进算法的有效性，适用于复杂场景下群养生猪的多目标跟踪。第15期涂淑琴等：改进 TransTrack 多目标生猪行为跟踪方法175表2改进 TransTrack 和其他多目标跟踪方法结果对比Table2ComparisonofexperimentalresultsbetweenimprovedTransTrackandothermultipleobjecttracking（MOT）approachs测试视频段Testvideosegment算法AlgorithmMOTA/%IDsHOTA/%IDF1score/%FPFNMOTP公共数据集PublicdatasetTrackformer88.528370.879.5104837190.157JDE83.447362.671.2332334550.221TransTrack79.352363.871.2362749100.173ImprovedTransTrack92.414772.186.4100023350.175私有数据集PrivatedatasetTrackformer77.14160.776.014158790.238TransTrack75.722353.065.712589940.221ImprovedTransTrack91.56362.577.35153640.214注：MOT 为多目标跟踪，MOTA 为多目标跟踪准确率，IDs 为身份变换，HOTA 为高阶跟踪准确率，IDF1 为识别 F1 值，FP 为假阳性，FN 为假阴性，MOTP 为多目标跟踪精度。下同。Note:MOTisthemultipleobjecttracking,MOTAisthemultipleobjecttrackingaccuracy,IDsisidentityswitches,HOTAisthehigherordertrackingaccuracy,IDF1istheidentificationF1score,FPistheFalsepositive,FNistheFalsenegative,MOTPisthemultipleobjecttrackingprecision.Samebelow.改进 TransTrack 算法与其他 MOT 算法在公开数据集和私有数据集的部分可视化结果如图 5 和图 6 所示。在图 5 中，JDE、Trackformer 和 TransTrack 在视频 0602 第201 帧中最大的跟踪 ID 分别为 93、39 和 31，与猪栏猪只数量 16 头不同，出现猪只 ID 错误的频繁切换；改进TransTrack 的最大ID 稳定在16，没有出现错误的ID 变换。b.Trackformera.JDEc.TransTrackd.Improved TransTrack视频0602第1帧1st frame invideo 0602视频0602第101帧101st frame invideo 0602视频0602第201帧201st frame invideo 0602图 5改进 TransTrack 与其他 MOT 在公开数据集上的跟踪结果对比Fig.5ComparisonoftrackingresultsbetweenimprovedTransTrackandtheotherMOTalgorithmsinpublicdataset在图 6 中，Trackformer 在视频 1703 第 278 帧中最大的跟踪 ID 达到 12，TransTrack 在视频 1703 第 199 帧和第 278 帧中最大的跟踪 ID 分别为 12 和 11，出现频繁的错误 IDs。改进 TransTrack 的最大 ID 稳定在 6，和真实的目标数(groundtruth,GT)一致，保持跟踪 ID 稳定。因此，结合表 2、图 5 和图 6 综合分析，相比于其他 3种算法，改进 TransTrack 的多目标跟踪指标和跟踪效果均最优，在复杂场景下可以实现准确的生猪行为跟踪。视频1703第6帧6th frame in video 1703视频1703第199帧199th frame in video 1703视频1703第278帧278th frame in video 1703a.Trackformerb.TransTrackc.Improved TransTrack图 6改进 TransTrack 与其他 MOT 在私有数据集上的跟踪结果对比Fig.6ComparisonoftrackingresultsbetweenimprovedTransTrackandtheotherMOTalgorithmsinprivatedataset176农业工程学报（http:/www.tcsae.org）2023年3.2改进 TransTrack 和 TransTrack 在每个测试视频的 MOT 结果与分析基于 TransTrack 和改进 TransTrack 在每个测试视频的 MOT 结果如表 3 和表 4 所示。TransTrack 在 0502 和1701 视频段上 MOTA，HOTA 和 IDF1 分别为 67.9%和69.9%，60.0%和 50.1%，64.4%和 57.3%，说明跟踪器在这 2 个视频段中，其行为跟踪没有取得很好的效果。TransTrack 只有在 0802 视频中，跟踪性能不错，其MOTA 取值为 91.0%。在 IDs 上，TransTrack 中每个视频段的 IDs 取值都大于 20 以上，说明 TransTrack 在 ID具有频繁错误变换，没有实现稳定跟踪。表3TransTrack 的群养猪多目标跟踪结果Table3PigMOTresultsbasedonTransTrack视频段VideosequenceMOTA/%IDsHOTA/%IDF1/%FPFNMOTP010274.13843.459.03311750.142040288.72770.381.92392420.147050267.93860.064.42934390.174060273.66356.161.35047020.207070264.85273.869.47774390.162080291.04077.782.41102020.131090283.55271.776.03482940.151100278.07046.362.73175350.249110285.64965.472.82214180.137120274.22967.778.72738600.163150281.66554.566.52166040.225160278.75456.875.03423060.243160474.38847.558.24433160.206170169.95950.157.33321500.183170378.62258.271.31412220.190平均值Average77.674660.069.1325.8393.60.181改进 TransTrack 在 0502 和 1701 视频段上 MOTA，HOTA 和 IDF1 分别为 95.6%和 91.6%，78.8%和 69.7%，89.5%和 82.7%，对比 TransTrack 结果，具有显著提升。同时，改进 TransTrack 在多个测试视频的 IDs、FP 和FN 显著减少，在体现检测效果的指标 MOTA 中提升14.6%，在体现跟踪效果的指标 HOTA 提升 9.8%，在跟踪轨迹连续性的指标 IDF1 提升 15.9%，在测试视频0702、0802 和 0902 的 IDs 分别只有 1、2 和 2。结果表明改进 TransTrack 能更加稳定地对目标进行跟踪。分析原因在于，改进 TransTrack 由于去除重叠目标检测框，提高检测的 MOTA 指标；根据高低匹配阈值进行 2 次数据关联，提高 HOTA 和 IDF1 跟踪性能指标；限制猪只ID 错误增长，降低了 IDs。表4改进 TransTrack 的群养猪多目标跟踪结果Table4PigMOTresultsbasedonimprovedTransTrack视频段VideosequenceMOTA/%IDsHOTA/%IDF1/%FPFNMOTP010291.1565.486.4341480.145040297.0678.089.536910.156050295.6878.896.551470.176060287.42563.483.32982840.209070298.5184.798.622320.146080299.5283.396.34120.140090295.6280.694.5291550.152100285.51156.075.51574420.251110293.02278.087.41501610.138120283.81471.284.9856320.170150289.25151.066.41343310.224160287.63455.874.52081680.247160490.41859.772.31561430.208170191.6869.782.7110330.184170396.4371.186.041200.192平均值Average92.021069.885.0101.0179.90.183改进 TransTrack 的群养生猪 MOT 部分效果如图 7所示。a.视频0102第37帧a.37th frame in video 0102b.视频0102第84帧b.84th frame in video 0102c.视频0102第220帧c.220th frame in video 0102d.视频0402第12帧d.12nd frame in video 0402e.视频0402第101帧e.101st frame in video 0402f.视频0402第230帧f.230th frame in video 0402g.视频0702第45帧g.45th frame in video 0702h.视频0702第84帧h.84th frame in video 0702i.视频0702第231帧i.231st frame in video 0702j.视频0802第11帧j.11st frame in video 0802k.视频0802第130帧k.130th frame in video 0802l.视频0802第258帧l.258th frame in video 0802图 7改进 TransTrack 群养猪多目标跟踪效果Fig.7PigMOTeffectbasedonimprovedTransTrack第15期涂淑琴等：改进 TransTrack 多目标生猪行为跟踪方法177其中，视频 0102、0402、0702 和 0802 的猪只最大ID 号分别维持在 7、15、12 和 13，与真实 GT 值相同，说明改进 TransTrack 能维持跟踪轨迹持续和稳定，具有较好的跟踪效果。图 8 给出改进 TransTrack 和 TransTrack 在 3 个视频段的跟踪效果对比图。白色的虚线框表示错误的 ID 号，红色的虚线框表示漏检，从图 8 中发现，TransTrack 存在错误的检测和漏检，导致出现错误的 ID 变换，改进TransTrack 能避免这些问题，提升群养生猪的多目标跟踪性能。视频0102第102帧102nd frame invideo 0102视频0402第6帧6th frame invideo 0402视频0802第8帧8th frame invideo 0802b.Improved TransTracka.TransTrack图 8改进 TransTrack 与 TransTrack 的跟踪结果对比Fig.8ComparisonoftrackingresultsbetweenimprovedTransTrackandTransTrack3.3改进 TransTrack 和 TransTrack 在不同光照和遮挡下的结果对比对不同光照强度和遮挡程度的测试视频，给出改进TransTrack 和 TransTrack 的对比结果。对不同光照下，其结果对比图如图 9 所示。1701 和 1703 视频段分别拍摄于同一个猪舍的上午和下午时间段。采用 TransTrack算法，图 9a 中 1701 视频第 288 帧和视频 1703 第 73 帧中存在一头猪只发生误检，是左侧窗户的不同光照导致，而采用基于 CIOU 匹配算法的改进 TransTrack 算法，能避免目标丢失并且去除重叠目标检测框，如图 9b 中结果所示。视频1701第288帧288th frame invideo 1701视频1703第73帧73th frame invideo 1703a.TransTrackb.Improved TransTrack图 9改进 TransTrack 与 TransTrack 在不同光照条件下的跟踪结果对比Fig.9ComparisonoftrackingresultsbetweenimprovedTransTrackandTransTrackunderdifferentlightconditions在不同遮挡情况下，改进 TransTrack 和 TransTrack结果对比图如图 10 所示。图 10a 视频 0702 第 147 帧和视频 1703 第 280 帧中，分别存在一只猪只由于被遮挡，导致该猪只漏检，同时，图 10a 视频 0702 和视频 1703 中存在频繁的错误 IDs，其最大 ID 分别为 18 和 13；改进TransTrack 中则没有漏检，也没有错误的 IDs，结果如图 10b 所示，视频 0702 和视频 1703 中最大的 ID 分别为12 和 6，和 GT 相同。结果表明，改进 TransTrack 提高了检测性能，根据高低匹配阈值进行两次数据关联，提高跟踪性能，同时，限制猪只 ID 错误增长，降低了 IDs。视频0702第147帧147th frame invideo 0702视频1703第280帧280th frame invideo 1703a.TransTrackb.Improved TransTrack图 10改进 TransTrack 与 TransTrack 在不同遮挡条件下的跟踪结果对比Fig.10ComparisonoftrackingresultsbetweenimprovedTransTrackandTransTrackunderdifferentocclusionconditions4结论本文基于 TransTrack 构建了改进群养生猪行为跟踪模型，实现自然场景下稳定猪只身份的群养生猪行为跟踪。主要结论如下：1）针对光照变化及猪只密集遮挡导致的目标误检和漏检挑战，提出一种改进 TransTrack 的猪只行为跟踪模型。在 TransTrack 基础上，首先采