基于跟踪关联的行人检测方法研究.pdf

1引言随着技术的发展和基础设施建设的完善，为保证交通安全，从视频或图像中对行人目标进行检测已成为近年来研究的热门课题。在道路交通场景中，由于受到行人的关节部位的运动变化、背景遮挡、行人重叠等因素的影响，对行人进行即时准确的检测就变得十分复杂。行人检测算法可以根据行人检测的研究过程分为传统行人检测算法和基于深度学习技术的行人检测算法1。目前基于深度学习的行人检测技术主要被分为两类：基于回归模型的一阶段检测算法和基于区域生成的二阶段检测算法。行人被遮挡的情况在行人检测问题中是占绝大多数的，令许多学者的目光关注到对被遮挡的行人的检测上。在遮挡行人检测中，行人突然从司机的视野里出现或消失这一现象虽然属于小概率事件，但不能完全避免，也一直缺乏解决的对策。对于被遮挡行人的检测算法，遮挡面积的大小以及遮挡的部位都对检测的准确性有一定影响，且由于行人的遮挡情况比较复杂，无法对每种遮挡情况进行逐一研究；同时由于遮挡行人的姿态较为多样，模板匹配法不能很好地匹配被遮挡行人的目标特征。针对现有的诸多问题，在此提出一种基于前后帧关联的部分被遮挡行人检测方法。基于跟踪关联的行人检测方法研究张可心1，宋辉1，刘淇2（1.沈阳工业大学信息科学与工程学院，沈阳 110870；2.烟台东方威思顿电气有限公司，烟台 264000）摘要:无人驾驶领域中因行人与物体的重叠、遮挡，会导致检测算法的准确度较低、漏检率较高，针对此问题，提出一种基于跟踪关联的行人检测算法。本算法以 TPH-YOLOv5 为基线网络，将第一次的预测结果作为知识与数据集一同输入到基于跟踪关联的检测模型中；利用卡尔曼滤波算法找出“感兴趣区域”后进行目标关联，直至所有缺失目标图像均检测完成，通过目标关联的方式提高被遮挡行人检测的准确率。实验结果表明，本算法的检测 AP 值、召回率、有遮挡行人情况的检测 AP 值均有一定程度提高，检测模型显著提高了行人部分遮挡的检测准确度。关键词：YOLOv5 模型；跟踪关联；目标检测；辅助驾驶DOI：10.3969/j.issn.1002-2279.2023.05.015中图分类号:TP391.41文献标识码:A文章编号：1002-2279（2023）05-0061-04Research on Pedestrian Detection Method Based on Tracking CorrelationZHANG Kexin1,SONG Hui1,LIU Qi2(1.School of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China;2.Yantai Dongfang Wisdom Electric CO.,LTD.,Yantai 264000,China)Abstract:In the unmanned driving field,because of the overlap and occlusion of pedestrians andobjects,the accuracy of the detection algorithm is low and the missed detection rate is high.To solve theproblem,a pedestrian detection algorithm based on tracking correlation is proposed.In the algorithm,TPH-YOLOv5 is used as the baseline network,and the first prediction result is input into the detection modelbased on tracking correlation as knowledge and data set.Kalman filter algorithm is used to find out theregion of interest and then target correlation is carried out until all the missing target images are detected,and the accuracy of blocked pedestrian detection is improved by target correlation.The experimental resultsshow that the detection AP value,recall rate and the detection AP value of pedestrians with occlusion areimproved to some extent,and the detection model significantly improves the detection accuracy of pedes-trians with partial occlusion.Key words:YOLOv5;Tracking correlation;Object detection;Driver assistance作者简介：张可心（1997），女，黑龙江省海伦市人，硕士研究生，主研方向：机器视觉检测。收稿日期：2023-05-23微处理机MICROPROCESSORS第 5 期2023 年 10 月No.5Oct.，2023微处理机2023 年2网络设计2.1算法模型的发展在基于卷积神经网络的行人检测算法中，二阶段算法的特点是需要使用生成算法找到不同的候选框，然后将候选框提取的特征组作为回归和分类输入2。2014 年，Donahue 等人3提出了经典二阶段目标检测算法 R-CNN，采用卷积神经网络进行特征提取，替代了传统的特征提取方法，之后用 SVM 分类器进行回归分类，是首次将深度学习应用到目标检测之上的算法。2015 年，何凯明团队提出了 FasterR-CNN 网络4，采用区域生成网络（Region ProposalNetwork,RPN）获取预选区域，并使用多种尺度的锚框解决多尺度目标和检测问题，提升了网络检测速度。在此基础上，特征金字塔网络5（Feature PyramidNetworks,FPN）采用多尺度特征融合模型解决了目标尺度差异较大的问题。另一类方法是基于回归的一阶段算法，常用的包括 YOLO6、SSD7、RetinaNet8等。这类算法只需要一步即可完成所有操作，极大地提高了网络的检测速度。YOLOv5 算法在速度与精度的平衡上做了许多优化，比如最近有人提出的改进 YOLOv5 的行人检测算法9，通过放大数据集的训练网格的方式，提高了对遮挡行人的检测精度。针对部分遮挡行人目标的检测问题，在此提出一种基于目标跟踪的被遮挡行人检测方法，其网络整体设计流程图如图 1 所示。方法的总体思路为：通过目标跟踪的方式对被遮挡的行人目标进行图像前后帧关联，将数据集输入到基线网络模型中进行训练，输出预测结果；同时对同一个视频的视频帧判断输出的预测结果中是否存在目标缺失，若存在目标缺失，即可能存在未被检测出的被遮挡行人目标。将预测结果作为训练样本再次输入基线模型进行二次训练，通过卡尔曼滤波算法对未被检出的目标可能出现的区域进行预测，随后利用匈牙利算法对目标消失区域进行特征两两匹配，以实现前后帧目标关联，从而检测出未能被检出的被遮挡目标。2.2基于目标跟踪的被遮挡行人检测算法为解决行人目标被遮挡问题，通过目标跟踪的方式对被遮挡的行人目标进行前后帧关联，整体检测结构如图 2 所示。将数据集输入到模型中进行第一次训练，判断模型的预测结果在同视频的情况下是否存在目标缺失，若存在目标缺失的问题，则将全部的预测结果输入到针对被遮挡的行人检测模型中。模型通过卡尔曼滤波利用图像中行人目标的运动信息和外观信息得到关联矩阵，对第一次检测中存在目标缺失的区域进行位置预测，关联出感兴趣的区域，然后通过匈牙利算法进行预测匹配，通过比较完整行人目标与感兴趣区域的颜色特征、纹理特征以及轮廓特征，在该模型的感兴趣区域找出与完整目标部分特征相同的区域。当存在部分特征相同，则代表信息匹配，说明这是缺失的目标，因此能够检测出在第一次检测中未被检出的被遮挡的行人目标。此方法能够减小网络的搜索区域，在提高被遮挡行人检测的准确率的同时也能提高检测效率。图 1网络整体设计流程图前后帧检测出的行人目标是否存在目标缺失？基线网络模型输入图像输出最终结果检测结果作为被遮挡行人检测模型数据集再次进行检测否是图 2基于跟踪关联的行人检测结构图预测结果输出最终预测结果不匹配否是目标相似度检验 是否视频最后一帧？利用匈牙利算法进行目标匹配卡尔曼滤波对缺失目标的位置预测TPH-YOLOv5训练数据归一化k-Means聚类算法匹配窑62窑5 期3实验验证3.1实验建模实验选择滴滴发布的 D2-City 视频跟踪数据集为样本库，它是大规模行车视频数据集，涵盖不同的天气、道路、交通情况，视频均以高清或超高清分辨率录制。选取含遮挡行人的视频片段转换成视频帧，标签用 labelimg 工具进行标注。数据集样本总量3744 张，并按 6:2:2 的数量比例进行划分。采用 TPH-YOLOv510作为基线网络模型。它是一种基于 YOLOv5 网络的改进算法，在 YOLOv5 的基础上，在 Head 部分加入一个用于检测更小尺度物体的检测头。此处采用 Transformer Prediction Head（TPH）替换 YOLOv5 的预测头，提升了预测潜力。为了能大范围覆盖图像，此处采用注意力模块 CBAM生成注意力图，提高对一些易混淆类别的分辨能力。评价指标选用平均精度 AP、召回率 R、平均对数漏检率。其中，召回率 R 指的是在所有正样本中，TP 所占比例，即：平均对数漏检率 LAMR 是衡量模型漏检的指标，定义为：LAMR 越大，模型的漏检率越高，性能也就越好。同样，平均精确率 AP 值越高，模型的检测效果也越好。3.2实验结果与分析实验所得到的数据如表 1 所示。包括常规 AP、召回率 砸、LAMR 以及 AP（遮挡行人）四个指标，再分不同情况进行分析。1）光线不足（过暗）的情况在光线过暗场景且行人服装颜色几乎与背景融为一体的情况下，本模型的检测准确率较原模型有所提高。主要是在将目标跟踪的关联方式引入模型后，相当于在原模型中加入了一个“注意力机制”，预测被遮挡的目标可能出现的位置，以减小模型的搜索范围，同时提高模型的检测效率和对行人特征的识别度。检测效果的实际对比如图 3 所示。从图 3 可以看出，在光线不足时，由于行人所穿衣服以黑色居多，与昏暗背景环境几乎融合，因此导致原模型只检测出了两个行人，而本模型检测出了四个，其中包括一个被严重遮挡的行人目标。2）遮挡面积较大的情况影响模型检测准确度的因素有很多，遮挡面积也是重要影响因素之一。本模型通过在制作数据集时选取大量部分被遮挡的行人样本来使网络对其进行学习，同时通过对被露出的特征进行匹配，以期解决对被遮挡的行人目标检测准确度较低甚至漏检的问题。从数据集中选取行人被严重遮挡的图片进行检测检测。检测效果的实际对比图 4 所示。(a)TPH 模型的检测结果(b)本模型实验检测结果TPTP+FNR(2)(1)92.25 0.2511LAMRexpln MR(10)9jjRA孕（遮挡行人）80.21%30.24%网络模型AP（常规）TPH-YOLOv5本模型88.74%72.66%85.23%20.40%Epoch300300LAMR31.92%24.53%表 1对比实验结果图 3光线不足情况下的实验效果对比(a)TPH 模型的检测结果(b)本模型实验检测结果图 4遮挡范围较大情况下的实验效果对比张可心等：基于跟踪关联的行人检测方法研究窑63窑微处理机2023 年表 1 数据表明，本算法的 LAMR 相比原模型降低了 7.39%，被遮挡行人的 AP 值也提高了 9.84%。行人的漏检情况得到了很大的改善。图 4 中行人被栅栏的遮挡面积很大，只露出了约 20%，且由于书包颜色与栅栏在颜色上很相似，模型很难识别。对此，原网络只检测到了 2 个行人，而本模型检测出了 3 个行人，其一被严重遮挡，也被检测出来。4结束语本研究提出的基于目标跟踪的前后帧关联的行人检测算法模型在对网络预测结果进行目标关联的情况下，被遮挡的行人目标检测准确率获得了极大的提升，即使在同样只检测出一个行人目标的情况下，本算法模型的置信度也要高于原模型的表现，表明基于目标跟踪的行人检测算法在被遮挡行人目标的检测准确度上有实质性的改善。参考文献：1钟南莎.复杂场景下的行人检测方法研究D.成都:电子科技大学,2022.ZHONG Nansha.Research on pedestrian detection methodsin complex scenesD.Chengdu:University of ElectronicScience and Technology of China,2022.2孟利霞.基于深度学习的车辆行人检测方法研究D.太原:中北大学,2021.MENG Lixia.Research on vehicle pedestrian detection me-thod based on deep learningD.Taiyuan:North Universityof China,2021.3GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich fea-ture hierarchies for accurate object detection and semanticsegmentationC/Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,June23-28,2014,Columbus,OH,USA.Piscataway:IEEE,2014:580-587.4REN Shaoqing,HE Kaiming,GIRSHICK R,et al.FasterR-CNN:towards real-time object detection with region pro-posal networksJ.IEEE Transactions on Pattern Analysisand Machine Intelligence,2017,39(6):1137-1149.5LIN Tsungyi,DOLLAR P,GIRSHICK R,et al.Feature py-ramid networks for object detectionC/Proceedings of theIEEE Conference on Computer Vision and Pattern Recog-nition,July 21-26,2017,Honolulu,HI,USA.Piscataway:IEEE,2017:936-944.6REDMON J,DIVVALA S,GIRSHICK R,et al.You onlylook once:unified,real-time object detectionC/Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition,June 27-30,2016,Las Vegas,NV,USA.Pis-cataway:IEEE,2016:779-788.7LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shotmultibox detectorC/Proceedings of the Computer Vision-ECCV 2016:14th European Conference,Part I,October 11-14,2016,Amsterdam,The Netherlands.Springer Interna-tional Publishing,2016:21-37.8LIN Tsungyi,GOYAL P,GIRSHICK R,et al.Focal loss fordense object detectionJ.IEEE Transactions on Pattern An-alysis and Machine Intelligence,2020,42(2):318-327.9GUO Weijie,SHEN Nanbo,ZHANG Tianze.Overlappedpedestrian detection based on YOLOv5 in crowded scenesC/2022 3rd International Conference on Computer Vision,Image and Deep Learning&International Conference onComputer Engineering and Applications,May 20-22,2022,Changchun,China.Piscataway:IEEE,2022:412-416.10ZHU Xingkui,LYU Shuchang,WANG Xu,et al.TPH-YOLOv5:improved YOLOv5 based on transformer predic-tion head for object detection on drone-captured scenariosC/Proceedings of the IEEE/CVF International Conferenceon Computer Vision Workshops,October 11-17,2021,Montreal,BC,Canada.Piscataway:IEEE,2021:2778-2788.窑64窑