基于融合残差网络的人体异常行为识别方法.pdf

2023年10月西安交通工程学院学术研究Oct.2023第 8 卷第 3 期Academic Research of Xian Traffic Engineering InstituteVol.8No.3基基于于融融合合残残差差网网络络的的人人体体异异常常行行为为识识别别方方作者简介：作者简介：周璇（1997-），女，讲师，硕士，深度学习与图像处理。基金项目：基金项目：陕西省教育厅科学研究计划项目资助（项目编号：23JK0529）。法法周璇(西安交通工程学院 陕西西安 710300）摘摘要要：在视频监控系统中实时检测并识别异常行为的能力是智能监控系统的关键问题。本文提出了一种基于融合残差网络的网络框架，实现从视频中检测并识别人体异常行为。该残差网络框架主要包括人体检测模块和行为识别模块。基于前者本文提出检测残差网络（d-Res）采用多尺度目标检测策略来保证人体的检测速度以及检测效果；后者用于提取异常行为空间特征，使用基于迁移学习的识别残差网络（r-Res）提取图像的深层次特征，从而高效地对异常行为进行分类。最后，在 UTI数据集上进行了实验，对本文所提算法的性能进行了评估。实验结果表明，所提出的方法在检测识别现实场景中的异常行为方面取得了令人满意的效果。关关键键词词：异常行为；融合残差网络；检测残差网络；迁移学习；识别残差网络中中图图分分类类号号：TP391 文文献献标标识识码码：AHuman Abnormal Behavior Recognition Method Based on FusionResidual NetworkZHOU Xuan(Xian Traffic Engineering Institute,Xian Shaanxi 710300,China)Abstract：The ability to detect and identify abnormal behavior of video surveillance systems in real-time is the key problem forintelligent surveillance systems.This paper proposes a network framework based on fusion residual networks to detect and identifyabnormal human behavior from video.The residual network framework mainly includes a human detection module and a behaviorrecognition module.Based on the former,this paper proposes that the detection residual network(d-Res)adopts a multi-scale objectdetection strategy to ensure the speed and effect of human detection.The latter is used to extract the spatial features of the abnormalbehavior and uses the recognition residual network(r-Res)based on transfer learning to extract the deep features of the image so thateffectively classifies the abnormal behavior.Finally,experiments are performed on the UTI data set to evaluate the performance ofthe proposed algorithm.The experimental results show that the proposed method achieves satisfactory results in detecting andrecognizing abnormal behaviors in real-world scenarios.Keywords：abnormal behavior;fusion residual network;detecting residual network;transfer learning;recognize residual networks引引言言近年来，智能视频监控系统1广受政府和公众的欢迎，从政府打击犯罪到家庭的日常安全都有所应用。异常行为与人身财产安全息息相关，通过人力分析海量视频信息是非常昂贵且低效的，因此有必要自动地检测和识别可疑的异常行为。由于人类行为的歧义性，准确地识别异常行为成为现今的攻克难点2。于是本文介绍了一种人与人之间密切互动时可能发生的异常行为检测技术。实时检测异常行为是非常重要的，一旦检测到异常就可以采取适当的措施以避免或减少负面结果产生。因此，许多研究工作都是为了取代手动检测异常情况而创建一个自动视频监控系统，其核心技术，即准确地实时检测并识别异常行为确实极具挑战性3。为了实现自动检测异常行为4技术，则必须捕获人体的一些外观和动态，以便检测场景中存在的任何异常行为并确定其空间位置。目前，异常行为检测方法有很多种，如 SSD5，Fast R-CNN，FasterR-CNN6，YOLO 等网络结构。与检测方案（如 SSD，Fast/Faster R-CNN）提出的基于深度学习7模型的异常行为检测算法相比，YOLO 网络的检测速度最快。由于本文中要实现在视频监控系统中实时检测异常行为，即对检测速度有一定的要求，因此本实验中采用 YOLO 来完成目标检测任务。异常行为的识别方法主要有双流网络8、深度卷积神经网络944基于融合残差网络的人体异常行为识别方法等。而在深度神经网络中经常会出现梯度消失的问题，研究者们一般都会使用数据初始化以及数据正则化来缓解该问题10。此外，随着网络层数的不断增加，产生了性能退化的弊端，而残差网络可以缓解此类问题，从而使网络的性能得到提高11。至此，本文提出了采用 r-Res 网络来识别异常行为，在深度网络中的识别准确率令人满意。采用本文的多级残差网络不仅能实时地对人体进行检测，还能快速、准确地识别出异常行为，体现出其高效性和准确性。1 残差网络的优势在计算机视觉以及图像处理领域中，随着网络层数的增加，网络提取的特征会变得更加抽象，但这些抽象的信息计算机更容易理解。研究表明，网络的深度是取得理想结果的关键12。然而，随着网络层数的不断增加，在模型训练时会出现梯度消失等问题，从而使得网络无法收敛。用初始化和正则化方法处理数据可将收敛的网络的层数增加近十倍。虽然网络能够收敛，但其性能却逐渐退化，即增加网络深度会使得误差更大。误差随网络层数增加的变化趋势如图 1 所示。图图 1 误误差差随随网网络络层层数数增增加加的的变变化化通过在一个直链式网络上增加跳跃链接层，从而让网络深度加深而不产生退化13。这反映了多层直链式神经网络无法逼近跳跃链接网络，由此引入残差网络来很好地解决这一问题。残差网络参考并学习每层的输入，从而形成残差函数。该函数很容易优化14，并且可以使得网络深度大大增加。2 人体检测模块YOLO v4 是 YOLO 系列算法的第四个版本，是由 Alexey Bochkovskiy 等人提出的，其在传统的YOLO 算法基础上，加入了很多实用技巧，较大程度地提升了检测精度并加快了检测速度。官方实验表明，在 Tesla V100 上，其对 MS COCO 数据库的检测精度达到了 43.5%，速度达到了每秒 65 帧。2.1 YOLO 检检测测算算法法YOLO检测算法一直受到相关学者们的广泛关注，其版本经过了多次更新，不断汲取其他检测算法的优点并优化自身15。该算法的根本思想是：采用特征提取网络提取输入数据的特征，得到特定大小的特征图输出。将输入数据划分为 SS 个网格，如果图像中某一目标的中心落在其中一个网格中，那么就由此网格来预测该目标16。其中每个网格都负责预测 B 个边界框，并且每个边界框都包含自身的位置信息和置信度。此置信度主要代表了所预测的框中含有目标的可能性以及该框所预测的准确度两种信息。计算公式如下：truth=Pr()predconfidenceObjectIOU(1)若网格中包含某个目标则Pr()=1Object，否则Pr()=0Object。truthpredIOU代表实际的边界框与预测的边界框的交并比17，用来测量预测框的准确度，当IOU=1 时，代表实际边界框与预测边界框重合。目标类别属性主要是对每个含有目标的网格预测 C 个概率，用Pr(|)Class Object表示18。无论边界框的数量如何，每个网格单元仅预测一组概率。在预测阶段，将目标所属类别的概率与边界框的置信度相乘得到预测边界框所属某一类别的置信分数，公式如下所示：truthtruth_Pr(|)Pr()Pr(|)Pr()iiprediipredClassscoreconfidenceClass ObjectObjectIOUClass ObjectClassIOU 将_iClassscore与规定的阈值相比较，如果大于本文所设置的阈值则保留相应的预测目标边界框，否则将舍弃其边框（在本实验中，由于只对人进行检测，并且人体姿态变化较大，因此设置的阈值定为 0.3）。然后，本文采用常用的非极大值抑制法排除了剩余的预测边框。最后，网络输出最终的目标预测位置以及所属种类。2.2 YOLO v4 的的整整体体网网络络框框(2)架架YOLO v4 算法19是一个高效的目标检测网络，其整体架构如图 2 所示。YOLO v4 包含输入端、Backbone、Neck 和输出端四个部分，由 CBM、CBL、Res_unit、CSPX、SPP 五种基本单元所组成。此算法在 YOLO v3 的基础上优化了神经网络的结构，45基于融合残差网络的人体异常行为识别方法图图 2 YOLO v4 的的网网络络结结构构图图其加入了跨小批量标准化、加权残差连接、自对抗训练、跨阶段部分连接等模块，还采用了 Mish 激活函数、Mosaic 数据增强、CIoU_loss 等操作，达到了目前较好的实验结果。2.3 YOLO v4 人人体体检检测测算算法法设设计计YOLO v4 在传统 YOLO 系列算法基础上，运用了很多用于提升检测效率的技巧。YOLO v4 在YOLO v3 算法的基础上对输入端、BackBone、Neck和输出端均做了创新，使得其对不同大小人体的检测效果更好。所以本文采用 YOLO v4 作为异常行为识别任务中的人体检测算法，其检测流程如图 3所示。图图 3 YOLO v4 人人体体检检测测流流程程图图3 行为识别模块3.1 残残差差网网络络的的整整体体框框架架采用本文所提出的检测方法从连续视频剪辑中检测并框出每一帧的目标对象。本研究的目的是构建一个系统以识别上一步框出来的人体行为目标。通过连接以下两个深度学习模型提出了统一的框架：用于人体检测的 d-Res 架构和用于行为识别的 r-Res 网络架构。其整体网络的框架图如图 4 所示。图图 4 连连接接 d-Res 模模块块和和 r-Res 模模块块的的深深度度残残差差框框架架其中，frame t-1、frame t、frame t+1 分别表示输入视频中第 t-1 帧、第 t 帧、第 t+1 帧图像。d-Res表示基于具有只检测人体形态的 YOLO v4 网络。r-Res 的网络结构基于 Resnet50 模型，该部分网络将输入图像分为在训练过程中定义好的异常行为的类别。识别残差网络（r-Res）接收从检测残差网络（d-Res）输出的边界框内部的图像，其包括每个人体以及行为状态信息。3.2 识识别别残残差差网网络络（r-Res）的的网网络络结结构构r-Res 的网络结构采用的是 Resnet50 模型。其结构图如图 5 所示。46基于融合残差网络的人体异常行为识别方法图图 5 ResNet50 网网络络结结构构图图该研究涉及通过 r-Res 对表示异常的几种行为进行分类。多级残差网络模型输入图像尺寸为 416pixel416 pixel，将一段视频送入检测残差网络中，其对视频中每一帧的人体进行框选，然后将边界框中的图像送入识别残差网络中对异常行为进行分类。3.3 基基于于迁迁移移学学习习的的 r-Res 网网络络该实验中所采用的是 UTI 行为数据库。该数据库由 20 个视频剪辑组成，每个视频剪辑含有多个移动的人体，包含以下六种不同的行为：“握手”，“拥抱”，“踢”，“指”，“打拳”和“推”。每段视频至少包含此六种交互行为各一次，从而导致每段视频剪辑平均执行 8 次人体活动。分辨率图像帧对应于 HD(720480)，帧速率对应于 30fps（每秒帧数）。在本文中，将这六种行为定义为异常行为，但此数据集规模较小，若要训练一个鲁棒性很好的识别残差网络（r-Res）还是有些困难。因此，本文通过采用迁移学习20的方法来训练多级残差网络。在该实验中，本文将 ImageNet 图像集作为源域，将 UTI 数据库作为目标域，然后对训练的模型进行微调，最后将微调后的网络模型迁移学习应用于目标域中。本实验的迁移学习主要划分为两个部分：Resnet50 网络模型的训练；将该模型的权重等知识迁移到识别网络中，从而在此基础上进行识别残差网络的训练。对于识别残差网络部分，首先按照网络构建识别网络结构。特征提取部分以 Resnet50 残差网络为基础，通过增加一层卷积核数量为 2048，大小为 33 的卷积层，从而将矩阵转化为 204877 维数据。然后，再通过增加一层平均池化层将矩阵转化为 204811 维数据，再使用全连接层将矩阵转化为 10241 维特征向量。最后，再通过增加一层 softmax 层来将该层特征向量转化为概率输出。4 实验结果及对比分析4.1 实实验验配配置置及及结结果果该实验的配置细节：CPU 为 Inter(R)Core(TM)47基于融合残差网络的人体异常行为识别方法i5-4210M，主频为 2.60GHz，内存为 8GB。在此基础上搭建软件环境：Ubuntu16.04、Python、Opencv、Cuda 等，框架使用 Tensorflow 框架。使用UTI行为数据库来评估本文所提出的多级残差网络（d-Res、r-Res）模型的性能，其中 d-Res网络会框出人体并根据边界框的坐标值剪切出人体目标，再使用 r-Res 网络对异常行为进行识别。网络整体识别准确率的结果如图 6 所示。图图 6 网网络络整整体体识识别别准准确确率率4.2 算算法法性性能能对对比比为了评估该模型的性能，本文比较了当前流行的目标检测和识别模型的组合。运用相同的方法处理 UTI 行为数据集，并对其视频进行训练和测试。对每种模型分别进行 3 次测试并对结果求平均，以准确率作为评估效果的指标之一。图 7 展示了在UTI 数据集上的精度、参数以及计算复杂度方面的权衡，图中的气泡的面积表示每种方法的参数数量。图图 7 实实验验结结果果对对比比由图 7 可以看出，我们的方法要显著地胜过先前的方法，这表明我们的模型能够有效地分配参数利用的空间，并且在准确率和计算复杂度上均达到了先进的结果。5 结论本文提出了一种利用多级残差网络（d-Res、r-Res）算法，并结合迁移学习实现人体异常行为检测及识别的方法。采用 YOLO v4 网络结构，使用数据增强技术、跨阶段部分连接、SPP 模块和FPN+PAN 模块等多种技巧，显著地提升了人体检测的效果。在算法准确度方面，通过使用 r-Res 网络来提高异常行为的识别率。此外，本文采用的迁移学习方法训练出了具有较强泛化性能的网络模型。目前，识别异常行为使用最多的方法是采用深度卷积神经网络，其为了提取更深层次的信息从而增加了网络层数，但其又导致出现了梯度消失的问题，因此其效果并不好。本文提出的多级残差网络解决了随着网络层数增加产生的梯度消失问题，且识别率大大提高。实验表明，在 UTI 异常行为视频数据集上，识别准确率达到 98.5%。但是对于人体较小和模糊的视频数据集，本文算法还存在少量漏检的现象，下一步需要优化算法，以解决此类问题，从而进一步提升异常行为视频识别的准确率。参参考考文文献献1BenMabrouk,A,Zagrouba,E.Abnormalbehaviorrecognitionforintelligentvideosurveillancesystems:AreviewJ.ExpertSystemswithApplications,2018(91):480491.2周璇,易剑平.基于时间上下文模块的人体动作识别方法J.国外电子测量技术,2022,41(10):72-79.3Zhou,X.,Yi,J,Xie,G.,Jia,Y,Xu,G,Sun,M.(2022).Human Dete-ction Algorithm Based on Improved YOLOv4.InformationTechnology and Control,51(3),485-498.4Qian,H,Zhou,X.,Zheng,M.Abnormal behavior detection andrecognition method based on improved resnet modelJ.Computers,Materials&Continua,2020,65(3):21532167.5张伦,谭光兴.基于改进 SSD 的行人检测算法J.广西科技大学学报,2023,34(03):93-98+107.6邓姗姗,黄慧,马燕.基于改进 Faster R-CNN 的小目标检测算法J.计算机工程与科学,2023,45(05):869-877.7钱慧芳,易剑平,付云虎.基于深度学习的人体动作识别综述J.计算机科学与探索,2021,15(03):438-455.8Jia J,Zhou Y,Hao X,et al.Two-stream temporal convoluti-onal networks for skeleton-based human action recognitionJ.Journal of Computer Science and Technology,2020,35(3):538-550.9Kulikajevas,A,Maskelinas,R.,Damaeviius,R.Detection ofSitting Posture Using Hierarchical Image Composition andDeep LearningJ.PeerJ Computer Science,2021,7,e442.10高净植,刘祎,张权,等.改进深度残差卷积神经网络的LDCT 图像估计J.计算机工程与应用,2018,54(16):203-210+219.11周登文,赵丽娟,段然,等.基于递归残差网络的图像超分辨率重建J.自动化学报,2019,45(06):1157-1165.(下接第43页)48基于 PLC 的全自动挂面包装线设计图图 9 PLC 控控制制的的全全自自动动挂挂面面机机包包装装梯梯形形图图5 结语采用PLC控制全自动挂面机，设备结构简单并且可以降低生产成本，工作性能稳定，包装速度快，每分钟可达到13kg-15kg一包，包装整齐牢固并可以根据挂面的不同规格及重量在操作面板上进行工作。包装挂面在长度测量系统中两端传感器在伺服电机驱动下可以实现精准移动，量出相关数据，并通过对伺服驱动器的设置，将传感器最小运动单位精确到0.01mm，提高了设备的精确度。参参考考文文献献1挂面生产工艺及设备研发进展.刘锐;张影全;武亮;邢亚楠;魏益民.食品与机械,2016.2上袋机械手设计与动态性能分析.孙明迁;唐火红;骆敏舟;陈伟.合肥工业大学学报(自然科学版),2015.3给袋式自动挂面包装机关键装置设计.陈留记;王志山;李文凯;屈凌波.包装工程,2018.4给袋式包装机取袋机构结构参数的优化设计.孟祥飞;杨传民;樊文涛.包装工程,2017.5基于专利分析的袋包装技术.汪凯;张犁朦;李更;汪勇.包装工程,2017.6上袋机械手设计与动态性能分析.孙明迁;唐火红;骆敏舟;陈伟.合肥工业大学学报(自然科学版),2015.7M 袋自动挂面包装机关键装置设计与仿真J.徐雪萌;陈留记;王志山;李文凯.包装工程,2019.8一种挂面包装机控制系统的设计与开发J.周广山;潘松峰;王瑞奇.青岛大学学报(工程技术版),2013.9基于三菱PLC控制的全自动分板包装机的设计与实现J.胡青龙.自动化技术与应用,2022.10基于信捷 PLC 的称重包装机控制系统优化设计11 俞霞;郭琼;谢彬彬;刘志刚.电工技术,2020.12一种基于PLC的给袋式计数包装机系统设计J.杜国华;李桓桓.襄阳职业技术学院学报,2020.13基于 PLC 技术的机器人控制系统研究J.张威.科技风,2022(35).14基于PLC的农业种植水肥一体化自动控制系统J.胡萱萱.现代农机,2023(01).15PLC 技术在立体仓库设计中的应用研究J.赵晶晶.南方农机,2023(03).(上接第48页)12吴彦丞,陈鸿昶,李邵梅,等.基于行人属性先验分布的行人再识别J.自动化学报,2019,45(05):953-964.13杨雷,郭恩泽,刘益岑等.基于轻量级残差网络的无人机个体识别方法J.兵器装备工程学报,2023,44(06):246-253.14周登文,赵丽娟,段然,等.基于递归残差网络的图像超分辨率重建J.自动化学报,2019,45(06):1157-1165.15Qian,H,Zhou,X,Zheng,M.Detection and recognition of a-bnormal behavior based on multi-level residual networkC/Proceedings of the IEEE 4th Advanced Information Tech-nology,Electronic and Automation Control Conference,2019:2572-2579.16陈咏秋,孙凌卿,张永泽,等.基于 YOLO v3 的输电线路鸟类检测技术研究J.计算机工程,2020,46(04):294-300.17马啸,邵利民,金鑫,等.改进的 YOLO 模型及其在舰船目标识别中的应用J.电讯技术,2019,59(08):869-874.18董彪,熊风光,韩燮,等.基于改进 Yolo v3 算法的遥感建筑物检测研究J.计算机工程与应用,2020,56(18):209-213.19Bochkovskiy A,Wang C,Liao H.YOLOv4:Optimal speed and accuracy of object detectionJ.arXiv preprint,arXiv:20 04.10934,2020.20李立鹏,师菲蓬,田文博,等.基于残差网络和迁移学习的野生植物图像识别方法J.无线电工程,2021,51(09):857-863.43