基于YOLOv4的车辆与行人检测网络设计_谭光兴.pdf

基金项目:国家自然科学基金项目(61563005)收稿日期:2021-06-02 修回日期:2021-06-10 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0128-06基于 YOLOv4 的车辆与行人检测网络设计谭光兴,岑满伟,苏荣键(广西科技大学电气与信息工程学院,广西 柳州 545616)摘要:针对 YOLOv4 网络模型参数量大,难以在资源有限的设备平台上运行的问题,提出一种对 YOLOv4 轻量化的车辆和行人检测网络。以 MobileNetV1 为主干网络,将 PANet 和 YOLO Head 结构中的标准卷积替换成深度可分离卷积,减少模型参数量;同时利用跨深度卷积结合不同膨胀率的空洞卷积构建特征增强模块,改善不同预测层对车辆和行人尺度变化的适应能力,提高网络的检测精度。实验结果表明,上述网络模型大小为 45.28MB,检测速度为 44FPS,相比 YOLOv4 模型大小减少 81.44%,检测速度提升 91.30%,在 PASCAL VOC2007 测试集上,检测精度达到 86.32%,相比 MobileNetV1-YOLOv4 原网络提高 1.29%的精确度,能够满足实时高效的检测要求。关键词:深度学习;目标检测;特征增强;轻量化中图分类号:TP183 文献标识码:BDesign of Vehicle and Pedestrian Detection NetworkBased on YOLOv4TAN Guang-xing,CEN Man-wei,SU Rong-jian(School of Electrical and Information Engineering,Guangxi University of Scienceand Technology,Liuzhou Guangxi 545616,China)ABSTRACT:Aiming at the problem that the number of YOLOv4 network model parameters is large and is difficultto run on device platforms with limited resources,a lightweight vehicle and pedestrian detection network for YOLOv4is proposed.Using MobileNetV1 as the backbone network,the standard convolution in the PANet and YOLO Headstructure is replaced with a deep separable convolution to reduce the amount of model parameters;at the same time,the cross-depth convolution combined with the atrous convolution with different dilation rates is used to construct afeature enhancement module,improving the adaptability of different prediction layers to the scale changes of vehiclesand pedestrians and increasing the detection accuracy of the network.The experimental results show that the size ofthe network model is 45.28MB,which is 81.44%smaller than that of the YOLOv4 model;its detection speed is44FPS,an increase of 91.30%compared to the YOLOv4 model.On the PASCAL VOC2007 dataset,the detectionaccuracy reaches 86.32%,an increase of 1.29%compared to the original MobileNetV1-YOLOv4,which meets therequirements of real-time and efficient detection.KEYWORDS:Deep learning;Object detection;Feature enhancement;Lightweight1 引言随着机器视觉和人工智能的不断发展,自动驾驶技术已成为当今汽车发展的研究热点,其中前方道路的障碍物检测技术是自动驾驶汽车所面临的挑战。车辆和行人是汽车正常行驶时前方常见的障碍物,实现对车辆和行人的准确且实时检测已成为目标检测技术领域的研究热点1。考虑到设备平台资源有限,目标检测系统不宜占用较大内存,要求检测系统轻量、实时且精准。如今,基于深度学习的目标检测算法不断发展,已经成为对车辆和行人检测主流的方法,主要分为 two-stage 和 one-stage 两种目标检测网络。two-stage 目标检测网络主要是基于侯选区域的检测算法,Girshick 等2最早提出 R-CNN网络,先产生侯选区域,再对侯选区域进行分类和回归。之后提出 Fast-RCNN3,使用感兴趣区域池化结构对候选区域821进行尺度同一化以及引入多任务损失函数,提升网络性能。Girshick 等4基于区域侯选网络结构,再次提出 Faster-RCNN 网络。He 等5提出 Mask-RCNN 算法,通过引入 Mask分支和 RoIAlign 结构,取得较好地检测能力。虽然 two-stage目标检测网络精度高,但检测速度相对较慢,实时性较差。one-stage 目标检测网络是基于回归思想,采用端到端的检测方法,直接产生目标物的位置坐标和类别概率。Redmon等6提出 YOLOv1 算法,将整张图像送入网络训练,在输出层完成对目标物的分类和定位,检测速度得到提升。Liu等7提出 SSD 算法,引入先验框进行回归,并结合多尺度特征来提高目标物的检测能力。Redmon 等8提出 YOLOv2 算法,使用 K-Means 聚类出先验框进行检测。随后再次提出YOLOv39,采用 Darknet-53 作为主干网络,采用特征金字塔结构,融合多尺度特征进行检测。Bochkovskiy 等10提出YOLOv4 算法,该网络汇集目前主流的优化技巧以及复杂的网络结构,能够精准地检测目标物,在 YOLO 系列算法中较为先进的。但是 YOLOv4 网络参数量和模型体积庞大,占用较大内存,难以在运算能力较弱的嵌入式设备实时地检测目标物。在设备计算资源有限的情况下,目标检测网络需要综合考虑检测精度和检测速度两者问题。针对 YOLOv4 的不足之处,本文对其算法进行轻量化,用 MobileNetV1 轻量化网络替换主干网络,进一步将网络中的标准卷积替换为深度可分离卷积,减少模型参数量;为弥补精度损失的降低,构建与各预测层特点相适应的特征增强模块,借助跨深度卷积和空洞卷积结构来改善各预测层对车辆和行人尺度变化的适应能力。改进后的 MobileNetV1-YOLOv4 网络模型具有参数量少、体积小、速度快的优点,在精度上有一定地提升,提高了对小目标的检测能力。2 网络模型分析2.1 YOLOv4 网络结构YOLOv410网络结构可以看成四个模块组成:特征提取模块、空间金字塔池化模块、路径聚合网络模块以及预测模块。相比 YOLOv3 的 Darknet53 主干网络,YOLOv4 融入交叉阶段部分连接(Cross State Partial,CSP)11,设计出 CSP-Darknet53 特征提取结构,增强网络学习能力,也降低计算复杂度。加入空间金字塔池化模块(Spatial Pyramid Pooling,SPP)12,融合局部和全局特征,增大网络感受野;为改善深层网络丢失浅层网络信息的问题,引入路径聚合网络(PathAggregation Network,PANet)13;预测模块结构上没有变化,依旧采用 Yolo Head1、Yolo Head2、Yolo Head3 检测头对不同尺度进行预测,得出最后的类别、置信度和预测边框信息。以输入尺寸为 416416,目标类别数为 20 的 YOLOv4 网络结构如图 1 所示。在损失函数方面,YOLOv4 使用 CIOU 作为目标边界框回归损失函数,避免出现预测框和真实框没有重叠部分而无图 1 YOLOv4 网络结构法优化 IOU 损失的问题。CIOU 综合考虑预测框和真实框的重叠面积、中心点距离以及长宽比,优化预测框回归精度和速度,损失函数如式(1)所示LCIOU=1-IOU+2(b,bgt)c2+(1)其中=(1-IOU)+(2)=42arctanwgthgt-arctanwh|2(3)式中的 p2(b,bgt)表示为预测框的中心点 b 与真实框的中心点 bgt的欧氏距离,c 表示为包围真实框和预测框的最小外接矩形的对角线距离。是用来协调比例参数,是用来衡量长宽比一致性的参数,wgt、hgt表示真实框的宽高,w、h 表示预测框的宽高。2.2 MobileNet 网络结构MobileNet14是考虑专门将网络模型使用在嵌入式设备或者移动设备上,所提出的一种轻量化的网络模型,其核心思想是采用深度可分离卷积结构。相比标准卷积,深度可分离卷积结构主要分为深度卷积(Depthwise Convolution)结构和点卷积(Pointwise Convolution)结构。深度卷积(DW)对输入特征的每个通道分别用卷积核进行卷积,大幅度地减少卷积计算量;点卷积(PW)通过 11 卷积核整合深度卷积后的特征图信息,使每张的输出特征图信息都能包含每张输入特征图信息。标准卷积和深度可分离卷积的结构对比如图 2所示。921图 2 标准卷积和深度可分离卷积的结构图 2 中 DK和 1 为卷积核的尺寸大小,M 和 N 分别为网络的输入通道数和输出通道数,通过图 2 的结构对比,能够计算出标准卷积的参数量为 DKDKMN,深度可分离卷积的参数量为 DKDK1M+11MN。由此可知深度可分离卷积和标准卷积的参数量之比为:DK DK 1 M+1 1 M NDK DK M N=1N+1D2K(4)标准卷积的参数量大约是深度可分离卷积的 D2K倍,使用深度可分离卷积能够在跨通道整合特征信息的同时,降低了网络参数量,提高模型推理速度。MobileNetV1 网络模型是基于深度可分离卷积结构搭建而成,其网络结构如表 1所示。表 1 MobileNetV1 网络结构Type/StrideFilter ShapeInput SizeConv/s2333322242243Conv dw/s13332 dw11211232Conv/s111326411211232Conv dw/s23364 dw11211264Conv/s11164128565664Conv dw/s133128 dw5656128Conv/s1111281285656128Conv dw/s233128 dw5656128Conv/s1111282562828128Conv dw/s133256 dw28 28256Conv/s1112562562828256Conv dw/s233256 dw2828256Conv/s11125651214142565Conv dw/s133512 dw14145125Conv/s1115125121414512Conv dw/s233512 dw1414512Conv/s111512102477512Conv dw/s1331024 dw771024Type/StrideFilter ShapeInput SizeConv/s11110241024771024Avg Pool/s1Pool 77771024FC/s110241000111024Softmax/s1Classifier1110243 改进的 MobileNetV1-YOLOv4 算法设计3.1 模型轻量化设计针对 YOLOv4 网络参数量过多、模型体积庞大,占用较大内存的问题,本文提出基于 MobileNetV1-YOLOv4 的车辆和行人检测网络,采用深度可分离卷积思想对模型进行轻量化。本文首先采用 MobileNetV1 来作为 YOLOv4 的主干网络,初步模型记为 MobileNetV1-YOLOv4a,之后再进行深度网络轻量化,即将 PANet 和 Yolo Head 结构中的 33 标准卷积替 换 成 为 深 度 可 分 离 卷 积,模 型 记 为 MobileNetV1-YOLOv4。将 YOLOv4 和两种轻量化模型进行参数比较,统一输入尺寸为 4164163,在本文中检测对象具体为为 Car、Bus、Motorbike、Bicycle、Person,所以类别数为 5,对比结果如表 2 所示。表 2 模型参数对比网络模型参数量/Million模型大小/MBYOLOv463.95243.99MobilenetV1-YOLOv4a40.54154.68MobilenetV1-YOLOv412.2846.88 由表 2 可知,YOLOv4 模型在参数量和模型体积方面都十分庞大。通过对比后两者模型可以发现,仅使用 Mobile-NetV1 作为主干网络,网络参数量和模型体积就减少很多;而进一步深度网络轻量化的模型在参数量和模型体积上大幅度较少,体积为 46.88MB,参数量为 12.28Million,相比YOLOv4 模型,在参数量和体积上减少 80.80%。因此,在整个 YOLOv4 网络模型中,本文将深层网络中的所有标准卷积全部替换成深度可分离卷积,构建 MobileNetV1-YOLOv4网络。3.2 特征增强模块为提高对车辆和行人尺度变化的鲁棒性,增大特征图的感受野,提高网络对目标的检测能力,本文对 MobileNetV1-YOLOv4 进行改进,在预测层前引入特征增强模块,取消 SPP模块以及之后的 Concat 结构,减少模型参数量。借鉴 RFB模块的空洞卷积思想,利用不同大小和数量的标准卷积以及不同膨胀率的空洞卷积,构建多支路、多层卷积并行的特征增强模块,增强语义信息,帮助预测层提高对目标不同尺度的检测能力,同时提高对小目标的检测能力。对于 1313 尺度的特征增强模块 1,建立四条输入通路和一条跨连接通路 Shortcut,每条通路使用 11 卷积核将输入通道数从 1024 降维成 256;其次每个通道采用不同数量和031大小的卷积核进行跨深度卷积;接着分别经过膨胀率为 1、2、3、5 的空洞卷积,使每个通路获得不同的感受野大小,最后级联各支路,通道数仍为 1024,丰富了语义特征信息,提高 1313 尺度预测层对大目标的检测能力。为降低参数量,提高网络检测速度,将 33 和 55 卷积核拆分成 31、13 和 15、51 的卷积核。特征增强模块 1 结构如图 3 所示。图 3 特征增强模块 1 结构2626 尺度的预测层是检测中间尺度的目标,在特征增强模块 2 中,采用了较小膨胀率的空洞卷积,第三、四通路使用 31、13 和 13、31 不同顺序的条形卷积,避免重复性地提取特征,同时条形卷积结构对车辆和行人检测更加敏感,其结构如图 4 所示。图 4 特征增强模块 2 结构5252 尺度的预测层是主要是检测小目标的,该层拥有边缘、颜色等语义信息。考虑到浅层网络增大感受野会降低检测小目标的能力15,本文设置膨胀率都为 1,通过阶梯状的卷积层来提高浅层语义信息,增强网络特征表征力,其结构如图 5 所示。考虑特征增强模块加入不同的位置是否对检测精度有影响,做了对比实验。分别考虑将特征增强模块加入在PANet 网络前和网络后,对比网络的模型体积和检测精度的图 5 特征增强模块 3 结构高低,结果如表 3 所示。表 3 加入不同位置的特征增强模块实验对比特征增强模块加入位置模型体积/MBmAP/%加在 PANet 网络前48.8085.32加在 PANet 网络后45.2886.32 由表 3 可知,针对本文的车辆和行人检测,将特征增强模块融入到 PANet 网络后,精确度更高。故本文将三个特征增强模块分别融入到三个预测层前,改进的网络模型结构如图 6 所示,其中 DW+PW 为深度可分离卷积模块,其余网络中卷积核为 33 的标准卷积已经全部替换成深度可分离卷积。图 6 改进后的网络模型结构1314 实验分析4.1 实验数据及环境配置本文研究对象为 Car、Bus、Motorbike、Bicycle、Person。实验所采用的训练数据是 PASCAL VOC 2007 和 VOC 2012 的train+val 数据集,考虑 Bus、Motorbike、Bicycle 对象在 VOC 数据集中样本较少,从 COCO2014 数据集中选取了部分,然后转换为 VOC 格式。测试数据采用 VOC2007test 数据集,选取符合要求的车辆和行人数据,共有 2734 张图片。训练数据集总共 8937 张,标注对象共有 24715 个。在实验数据加载阶段,统一输入尺寸为 416416,对读取的图片进行数据增强的随机预处理,如图片翻转、缩放或色域变换等,丰富数据。本实验在 PC 机 Win10 系统下进行操作,深度学习框架为 Pytoch1.2,编程语言为 Python3.7。在 CPU 为 Inter(R)Xeon(R)Gold 6130,内 存 为 32G,GPU 为 NVIDIA RTX2080Ti 的服务器对网络进行训练。4.2 实验结果分析本次实验使用精度评价指标 AP(Average Precision)、mAP(Mean Average Precision)、模型体积以及网络推理速度评价指标 FPS(frame per second)来对网络性能进行评估。其中 AP 值代表某一类目标的平均分类精确率,mAP 是对本文五个类别的 AP 求均值,称作为平均精确率均值。为验证本文算法的检测能力,与 Faster-RCNN、YOLOv4、MobileNetV1-YOLOv4 网络进行对比,其中 Faster-RCNN 输入尺寸为 1000600,其余网络输入尺寸为 416416,在 NVIDIA GTX1080 的GPU 上,对比目标精度 AP、模型体积、检测速度 FPS、平均精准率均值 mAP,结果如表 4 和表 5 所示。表 4 算法对车辆和行人的检测 AP 结果(%)算法Faster-RCNNYOLOv4MobileNetV1-YOLOv4本文算法Car87.0191.0487.7388.19Bus84.1290.3684.7286.27Motorbike80.3191.5084.4487.30Bicycle82.1188.6084.7185.40Person82.0689.3483.5784.44 表 5 算法对模型大小、FPS、mAP 检测结果算法模型体积/MBFPSmAP/%Faster-RCNN759.68583.12YOLOv4243.992390.16MobileNetV1-YOLOv446.885185.03本文算法45.284486.32 由表 4 和表 5 可知,MobileNetV1-YOLOv4 网络相比Faster-RCNN 网络有着较高的检测精度,相比 YOLOv4 网络,虽然目标检测精度略有降低,但模型大小减少了 80.79%,检测速度提升近 1.22 倍,表明深度可分离卷积模块在精度损失较小的情况下,能大幅度降低网络参数量,提升网络的目标检测速度。本文在 MobileNetV1-YOLOv4 算法基础上进一步改进,在预测层网络前加入三个与不同尺度特点相适应的特征增强模块。在单类别目标上的检测精度均得到提升,mAP 为 86.32%,相比改进前的网络 mAP 提高 1.29%,表明特征增强模块能增强语义信息,有效提高对车辆和行人的检测能力;模型大小进一步减小,仅为 45.28MB,相比 YOLOv4模型体积减少为 81.44%;检测速度为 44FPS,相比 YOLOv4网络提升 91.30%。改进后的网络在检测速度和模型体积方面优于 YOLOv4 模型,检测精度优于改进前的 MobileNetV1-YOLOv4 网络,故本文算法更符合设备平台对目标检测精度和速度的综合要求。图 7 MobileNetV1-YOLOv4 与本文算法对比将 MobileNetV1-YOLOv4 网络和本文算法对实际场景中的车辆和行人检测结果进行对比,如图 7 所示。图 7 的左边一列是 MobileNetV1-YOLOv4 检测结果,右边一列是本文算法的检测结果。通过实验对比发现,MobileNetV1-YOLOv4231在道路环境下漏检了尺度较小的车辆和行人,而本文算法通过特征增强后能够检测出较小目标,精度得到提升且定位更准确,体现出本文算法精度高以及对车辆和行人尺度变化有较好的鲁棒性。5 结语考虑在计算资源有限的设备平台上,需要兼顾目标检测精度和检测速度两方面,因此本文提出了一种融入特征增强模块的 MobileNetV1-YOLOv4 车辆和行人检测网络。将YOLOv4 网络模型中的主干网络替换成 MobileNetV1,对路径聚合网路和预测层网络进行轻量化,使得参数量和模型体积大幅度减少,相比 YOLOv4 网络,模型推理速度得到大幅度提升。在 MobileNetV1-YOLOv4 网络的三个预测层前,分别加入与不同尺度特点相适应的特征增强模块,利用跨深度卷积和空洞卷积结构,能够充分利用多尺度信息,丰富网络深度语义信息,构造出不同大小的感受野,提高网络的检测性能和适应目标尺度变化的能力。实验结果表明,本文算法相比 MobileNetV1-YOLOv4 原网络在检测速度损失较少的情况下,检测精度提高 1.29%,提高了对小目标的检测性能,对尺度变化大的目标具有较好的鲁棒性,满足实时高效的检测要求。参考文献:1 乔瑞萍,王方,董员臣,张连超.基于改进 HOG-LBP 特征车前多目标分类仿真J.计算机仿真,2020,37(11):138-141.2 Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchiesfor accurate object detection and semantic segmentationC.Con-ference on Computer Vision and Pattern Recognition,IEEE,2014:580-587.3 Girshick R.Fast R-CNN C.International Conference onComputer Vision,IEEE,2015:1440-1448.4 Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towardsreal-time object detection with region proposal networksC.Inter-national Conference on Neural Information Processing Systems,2015:91-99.5He K M,Gkioxari G,Dollar P,et al.Mask R-CNNC.Pro-ceedings of the IEEE international conference on computer vision.2017:2961-2969.6 Redmon J,Divvala S,Girshick R,et al.You only look once:uni-fied,real-time object detection C.Conference on ComputerVision and Pattern Recognition,IEEE,2016:779-788.7Liu W,Anguelov D,Erhan D,et al.SSD:single shot multiboxdetectorC.European Conference on Computer Vision,2016:21-37.8 Redmon J,Farhadi A.YOLO9000:better,faster,strongerC.Proceedings of the IEEE conference on computer vision and patternrecognition.2017:7263-7271.9 Redmon J,Farhadi A.Yolov3:An incremental improvementJ.arXiv preprintar Xiv:1804.02767,2018.10 Bochkovskiy A,Wang C Y,Liao H Y M.YOLOv4:optimalspeed and accuracy of object detectionEB/OL.2021-3-4.https:arxiv.org/abs/2004.10934.11 Wang C Y,Liao H Y M,Wu Y H,et al.CSPNet:a new back-bone that can enhance learning capability of CNNC.Proceed-ings of the 2020 IEEE/CVF Conference on Computer Vision andPattern Recognition Workshops(CVPRW).Piscataway,NJ,USA:IEEE,2020:390-391.12 He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Spatial pyra-mid pooling in deep convolutional networks for visual recognitionJ.IEEE Transactions on Pattern Analysis and Machine Intelli-gence,2015,37(9):1904-1916.13 Liu Shu,Qi Lu,Qin Haifang,et al.Path aggregation network forinstance segmentationC.Proceedings of the 2018 IEEE/CVFConference on Computer Vision and Pattern Recognition.Piscat-away,NJ,USA:IEEE,2018:8759-8768.14 Howard A G,Zhu M,Chen B,et al.Mobilenets:Efficient conv-olutional neural networks for mobile vision applicationsJ.arXivpreprint arXiv:1704.04861,2017.15 王若霄,徐智勇,张建林.跨深度的卷积特征增强目标检测算法J.计算机工程与设计,2020,41(7):1864-1871.作者简介谭光兴(1965-),男(壮族),广西南宁市人,教授,博士,硕士生导师,主要研究领域为智能控制,汽车电子控制技术。岑满伟(1996-),男(汉族),安徽滁州市人,硕士生,主要研究领域为智能控制(通信作者)。苏荣键(1996-),男(汉族),广西钦州市人,硕士生,主要研究领域为智能控制。331