面向社交距离检测的深度学习方法设计与性能验证.pdf

2023 年 25 期众创空间科技创新与应用Technology Innovation and Application面向社交距离检测的深度学习方法设计与性能验证张夏欣，平鹏*，胡苏湘，李嘉宁，戴晓璇（南通大学 交通与土木工程学院，江苏 南通 226019）对于传染病的准确溯源是有效防控的重要手段，基于社交距离分析的密接检测可以有效地追溯传染病感染者的密接范围，从而可有效确定相关密接者和防控范围，为及时有效抑制烈性传染病的传播提供信息化技术手段。另一方面，社交距离的检测不仅可以对传染病进行溯源，而且对机场、火车站和商场等公共场所中的人员异常行为的检测、违法嫌疑人的追踪和人流剧增检测都有着重要意义。在检测手段方面，现有研究的检测信息源主要基于光学传感器、激光雷达、Wi-Fi/蓝牙、压力传感器及麦克风阵列等传感手段。激光雷达检测会存在点云数据不完整、投入的成本高等问题。Wi-Fi/蓝牙检测存在稳定性较差，易遭受噪声信号干扰等问题。基于压力传感的感应地板存在扩展性差、特征稀疏、响应时间长等问题。麦克风阵列在区分多人特征时具有局限性1。在考虑到研究的成本以及与本文研究内容的适配度、数据采集成本等各方面因素，最终采用光学传感器检测。光学传感器能在给定空间中检测人员确切位置，相对其他传感器，其更容易部署且成本更低。近年来，多目标跟踪（Multiple Object Tracking，MOT）得到了广泛研究，其可以跨视频帧关联检测到目标，以获得整个运动轨迹。这种方法跟踪性能可能会受到跟踪算法各个环节误差的叠加影响，如检测、特征提取、相关性估计和关联，这些因素的干扰会导致跟踪性能显著下降。此外，还可能受到光照变化、遮挡、复杂环境、快速摄像机移动、不可靠检测和低分辨基金项目：江苏省高等学校自然科学研究面上项目（22KJB520007）；南通市社会民生重点项目（MS12022015）；南通大学大学生创新创业训练计划项目（202210304189H）*通信作者：平鹏（1988-），男，博士，讲师。研究方向为深度学习、自动驾驶。摘要：对社交距离进行准确检测在传染病溯源、安防监控等领域都有着重大意义。行人间的遮挡会极大降低社交距离检测方法的精度和泛化能力，针对这一问题，该文研究一种遮挡条件下的社交距离检测方法，并验证方法的环境适应性。该方法首先采用简单在线实时跟踪方法（Simple online and realtime track，SORT）进行人员追踪，然后基于单目视觉测距方法来测量行人间距；最后，验证检测方法在不同拍摄视角及人流密度下的泛化性能。研究结果表明，该实验可以在遮挡条件下进行较好的实时追踪，在摄像头的拍摄高度在 12 m 左右时获取最优的密接行为识别性能，识别准确率为 92%。关键词：社交距离；SORT；单目视觉；深度学习；性能验证中图分类号院R184文献标志码院A文章编号院2095-2945渊2023冤25-0038-04Abstract:Accurate detection of social distance is of great significance in the traceability of infectious diseases,securitymonitoring and other fields.The occlusion between pedestrians will greatly reduce the accuracy and generalization ability of thesocial distance detection method.In order to solve this problem,this paper studies a social distance detection method under theocclusion condition,and verifies the environmental adaptability of the method.This method first uses simple online and realtimetrack(SORT)for personnel tracking,and then measures pedestrian spacing based on monocular vision ranging method.Finally,thispaper verifies the generalization performance of the detection method under different shooting angles and pedestrian flow density.The research results show that this experiment can carry out better real-time tracking under the condition of occlusion,and thebest recognition performance of close contact behavior can be obtained when the shooting height of the camera is about 12 m,and the recognition accuracy is 92%.Keywords:social distance;SORT;monocular vision;deep learning;performance verificationDOI：10.19981/j.CN23-1581/G3.2023.25.00938-众创空间科技创新与应用Technology Innovation and Application2023 年 25 期率等问题的影响。针对MOT 在实际检测中面临的这些挑战，本文研究了如何解决在人员出现遮挡的情况下进行追踪以及何种条件下可以使得检测模型取得最优。本文的研究内容构成如下，第 1 部分给出了面向研究人员检测、追踪和间距估计的三阶段模型的构成，第 2 部分给出了数据采集过程和实验平台架构，第 3 部分给出了所研究的模型在自采数据集上的性能，并验证了方法在不同环境下的泛化能力，第 4 部分对本文的研究内容和研究结果进行总结。1方法基于 SORT 本文采用一个三阶段社交距离检测模型，包括人员检测、人员追踪、距离间估计，作为社交距离检测的总体解决方案。1.1基于 YOLO 架构的人员识别模型图 1 是人员检测模块的总体结构，首先由摄像机获取视频序列，再传递给深度神经网络模型，模型的输出结果是检测目标的定位边界框。由于深度神经网络（DNN）环境适应性好、特征泛化能力强等特点，本文使用 DNN作为基准网络进行对象检测。DNN 对象检测器包含 3 个组成部分，包括输入模块、提取特征的主干和预测输出中对象的类别这 3 部分组成2。骨干是特征抽取器（featureextractor），通常是由大规模图片分类任务中得到的。本文采用的 Darknet 作为 backbone，同时融入 Inception 和ResNet 的结构提升网络的特征识别能力和泛化能力。通过主干提取的特征再加上采样环节，以图像框的形式还原至原图，形成检测目标的定位边界框。1.2基于 SORT 的人员追踪模型为准确跟踪各行人目标，本文采用了 SORT 对行人进行实时追踪，该方法在较长时间的遮挡条件下依然可较准确的跟踪对象，有效减少了因遮挡而出现的身份跳变问题3。SORT 使用匈牙利算法在图像空间和逐帧数据关联中执行卡尔曼滤波。这种简单的方法在高帧速率下实现了良好的性能，当出现频繁遮挡时仍可以高效的识别检测人群的身份跳变。SORT 虽然在跟踪精度和准确性方面体现了良好的性能但是其返回的身份数量相对较高，因此，SORT在通过遮挡进行追踪方面存在困难。为了解决这个问题，应用了卷积神经网络 CNN，该网络已在大规模数据集上进行训练以区分行人。该网络的集成可以提高模型的鲁棒性，使系统易于实施并且高效的应用于在线场景。1.3基于单目视觉特征的距离间隔估计由于使用单个相机，将三维世界场景投影到二维透视图像平面中会导致对象之间的像素距离不切实际，这称为透视效应。为了消除透视效应，本文采取单目视觉测距的方法来测量行人间距。在三维空间中，每个边界框的中心或参考点与 3 个参数（x，y，z）相关联4。通过应用逆透视变换（Inverse Perspective Mapping，IPM），2D 像素点（u，v）将被映射到对应的世界坐标点（xw，yw，zw）。应用 IPM 之后，用线性距离表示每个人的位置，在具有线性距离表示的鸟瞰图（Birds EyeView，BEV）的均匀空间中，违规检测函数 V 如下V=夷孜（Hq，Po，r），（1）式中：孜 为输入参数像素度量，Hq 表示被检测人的位置，Po 表示周边的人员，r 表示集合安全距离。其中，孜 是表示 BEV 空间中 1.0 m 长度的线中的像素数。式中：Hq 表示被检测人的位置，Po 表示周边的人员，xi、xj表示违规人员 pi、pj所在的坐标位置，r 表示集合安全距离。当行人违反安全距离超过 5 sec 时就会被识别出来，上位机会标注红色；当行人关系为家庭成员或图 1基于图像特征分析的人员检测模型结构22221,0,ijijijijifxxyyrHq Po rifxxyyrx，（2）（曾，赠，憎，澡，燥遭躁 分数）完全连接的完全连接的暗网架物输入图像实时监测1 024伊768伊37伊7伊1 0244 0967伊7伊30长度：缘月垣悦伊月 倍伊悦 倍类概率39-2023 年 25 期众创空间科技创新与应用Technology Innovation and Application者伴侣时，检测结果为黄色；当行人保持安全距离，检测结果为绿色。2数据采集与实验平台本文采用了公开数据集和自采数据集来训练、验证社交距离检测模型。公开数据集采用 MS COCO 和谷歌开放图像数据集，该数据集包含丰富环境变化下的图像数据，主要用于模型的基准权重训练；自采数据集包含了南通大学啬园校区附近地铁站、食堂、教学楼等不同地点的图像数据。本文对街道附近的人流量进行了分时段检测，监测时间为早上 7 时到夜晚 9 时，每小时分为 1 个时段，全天一共有 14 个时段，在每个时段内抽测 10 min，精准数出 10 min 内通过的行人数量，再对每一时段乘以6 得出每小时的人流量匝越晕栽，（3）式中：匝 为人流量（人/h），N 为单位时间内通过的总人数，T 为 10 min（1/6 h）。当 Q230 时，为人流密集；当 230Q90 时，为人流适中；当 Q90 时，为人流稀疏。模型的代码基于 Pytorch 实现，并使用了 numpy、cv2、os、html 等工具库，验证平台为一台服务器，该服务 器 CPU 为 intel XEON Silver 4210，GPU 为 NI原VIDIA RTX-4090，内存 64 G。3实验结果对比与分析3.1评价指标本文对行人安全社交距离检测评价指标采用二分类的准确率（Precision），如（4）式中，TP 表示检测出的违反了社交安全距离的行人数量，FP 表示没有违反社交安全距离但是却被识别为违反社交安全距离的行人数量5-6孕precision=TPTP+FP伊100豫。（4）3.2社交距离检测模型验证由于外部条件的不同会对实验结果产生显著的影响，故本文从拍摄高度、人员流量、阈值 3 个方面来探究进行社交距离检测的最适宜条件。研究中采用从不同高度处拍摄街道上的行人作为验证数据，高度分为 8、12、16 m。H 表示从 8、12、18 m 等不同高度拍摄地面上的行人。验证中首先获取街道拐角处不同高度的图像数据，利用 YOLO 进行人员识别并框出人员位置，再根据人员边界框计算人员之间的社交距离7。当社交距离小于安全距离 1 m 时，就会进行密接标注。由于高度 H 的不同导致社交距离的识别结果存在一定误差，经过依据统计特征，误差系数与高度 H 在一定范围内成线性关系。在高度为 8 m 时，定义误差系数为 0.9；高度为 12 m 时，定义误差系数为 0.85；高度为 16 m 时，定义误差系数为0.8。检测函数函数如下式式中：灼 表示误差系数，xi、xj为边界框中心归一化水平坐标；yi、yj为边界框中心归一化垂直坐标。本文从 8、12、16 m 3 个拍摄高度对街道拐角处的人群进行社交距离检测，检测结果如图 2 所示。22,0,1.,ijijf Hxxyyi jnz（），（5）渊a冤高度为 8 m渊b冤高度为 12 m渊c冤高度为 16 m图 2不同高度拍摄下的检测结果由图 2 可知，在相同时段内人流量较少时，8 m 和16 m 拍摄高度均出现了部分行人未识别出来的情况，综合比较检测结果得出拍摄高度在 12 m，时社交距离检测的效果较好。其次，本文在距离街道拐角处 12 m 高的地点，对人员疏松、人员适中和人员密集 3 种人流量下的人群进行社交距离检测，检测结果如图 3 所示。由图 3 可知当人流量稀少检测结果较好，而当人流量适中和过大时就会出现部分人员的社交距离不能检测到，检测质量下降。依据相关评价指标，本文从不同高度测量了街道拐角处人群的社交距离，检测结果如图 4（a）所示。可以观察到在人流稀疏、人流适中、人40-众创空间科技创新与应用Technology Innovation and Application2023 年 25 期流密集三种情况下，拍摄高度为 12 m 处的检测精度最高，效果最好。拍摄高度为 12 m 处固定地点的检测精度如图 4（b）所示，可观察到人流稀疏时检测效果最好。渊a冤人员疏松时渊b冤人员适中时渊c冤人员密集时图 3不同人流密度下的检测结果渊a冤在街道拐角不同高度处的的检测精度渊b冤高度为 12 m 处固定地点的检测精度图 4不同环境下的检测结果4结论本文采用了一种基于深度神经网络的人体检测模型，用于检测和跟踪公共场所的人群，同时给出了适宜的社交距离指标。首先，进行人员检测。利用摄像头收集有关视频序列，传递给深度神经网络模型，再把图像特征转换成对象检测输出。接着，采用 SORT 进行人员追踪。前期在卷积神经网络 CNN 上的大规模数据集上进行训练以区分行人，可以解决出现频繁遮挡时仍可以高效地识别检测人群的身份跳变的问题。最后利用单目视觉测距的方法来测量行人间距，对于违反安全距离的行人显示红色，在安全距离中的显示绿色，如果两人是情侣或者家庭成员的则显示黄色。这项研究不仅适用于新冠感染疫情中人员的检测还可以应用于其他工业领域，如自动驾驶车辆、公共场所中异常行为检测等。参考文献院1 BERRY A.针对零售行业社交距离的自动人流存在检测解决方案J.世界电子元器件，2020（12）：15-17.2 SZEGEDY C，TOSHEV A，ERHAN D.Deep Neural Net原works for object detectionC/Advances in Neural Informa原tion Processing Systems，2013.3 WOJKE A，BEWLEY，PAULUS D.Simple online and real原time tracking with a deep association metricC/2017 IEEEInternational Conference on Image Processing（ICIP），Bei原jing，China，2017：3645-3649.4 REZAEI M，AZARMI M.DeepSOCIAL：Social DistancingMonitoring and Infection Risk Assessment inCOVID-19Pandemic.JApplied Sciences，2020，10（21）：7514.5 焦帅，吴迎年，张晶，等.基于改进 YOLOv3 网络的卡尔曼社交距离检测与追踪J.科学技术与工程，2022，22（22）：9712-9720.6 张建贺，陶杭宇，王亚名，等.结合行人检测与单应性变换的安全社交距离估计J.软件导刊，2022，21（3）：89-94.7 赵嘉晴，易映萍，黄松.基于 YOLOv3 的无人机智能社交距离监测系统J.软件，2020，41（12）：107-112.地铁站食堂入口教学楼街道平均8 m12 m16 m41-