基于改进的YOLOv5算法路面检测设计_何凌志.pdf

收稿日期:2022 07 01基金项目:2021 年江苏省大学生创新创业训练计划项目(202113654016Y);2022 年江苏省大学生创新创业训练计划项目(202213654015Y)第一作者:何凌志(2001)，男，汉，本科生，主要研究方向为深度学习技术。E mail:1607803784 qq com通信作者:王玉珏(1981)，女，学士学位(在读硕士)，讲师，主要研究领域为自动化控制及物联网技术的研究。E mail:41040781 qq com基于改进的 YOLOv5 算法路面检测设计何凌志，王玉珏，周月娥，周研逸(南京理工大学 紫金学院，江苏 南京 210023)摘要:随着大规模的公路建设，公路路面检测对于已建成公路的维护保养尤为重要，但是目前的深度学习网络模型都较大，并且部署到嵌入式端会造成 Al 算力不足的问题。因此，智能算法检测渐渐进入人们视野，该文设计了基于改进的 YOLOv5 的路面检测算法的检测设计。提出了一种通过 Network Slimming 网络剪枝的方法对稀疏化训练的 YOLOv5 目标检测算法模型进行剪枝微调，并通过 tensorboard 网页观察 BN 缩放因子直方图变化从而确定剪枝微调的比例。经过实际测试对比，相较与正常训练的算法，通过稀疏化处理后剪枝训练的 YOLOv5 算法模型所占权重减小了6 5 MB，对路面坑洞检测中的平均准确率(mAP)达到了 81 4%，相比原始 YOLOv5 算法提升了2 1%，同时出现漏检现象较少，具有较好的检测精度。关键词:深度学习;YOLOv5 算法;路面检测;网络剪枝;稀疏化训练;目标检测算法;轻量化检测网络;嵌入式部署中图分类号:TN919文章编号:1000 0682(2023)04 0093 05文献标识码:ADOI:10 19950/j cnki cn61 1121/th 2023 04 017Pavement detection design based on improved YOLOv5 algorithmHE Lingzhi，WANG Yujue，ZHOU Yuee，ZHOU Yanyi(Nanjing University of Science and Technology Zijin College，Jiangsu Nanjing 210023，China)Abstract:With the large scale highway construction，highway pavement detection is particularlyimportant for the maintenance of completed highways However，the current deep learning network mod-els are large，and deployment to the embedded terminal will cause the problem of insufficient Al compu-ting power Therefore，intelligent algorithm detection gradually enters people s field of vision This paperdesigns a detection design based on the improved YOLOv5 road detection algorithm This paper proposesa method of pruning the sparsely trained YOLOv5 target detection algorithm model through Network Slim-ming network pruning，and observes the change of the BN scaling factor histogram through the tensor-board webpage to determine the proportion of pruning and fine tuning After the actual test comparison，compared with the normal training algorithm，the weight of the YOLOv5 algorithm model trained by prun-ing after sparse processing is reduced by 6 5 MB，and the average accuracy rate(mAP)in road potholedetection reaches 81 4%，which is 2 1%higher than the original YOLOv5 algorithm At the sametime，there are fewer missed detections and better detection accuracyKeywords:deep learning;YOLOv5 algorithm;road detection;network pruning;sparse training;target detection algorithm;lightweight detection network;embedded deployment0引言随着现代化，城市化的的不断推进，公共道路四通八达。我国公路行业已从最初的建设阶段进入修护保养阶段，在公路建设方面，大多采用沥青混凝土路面，由于高温严寒，雨水冲刷，车辆挤压等一系列外界干扰，长期下来，路面会受到不同程392023 年第 4 期工业仪表与自动化装置度的损伤，出现龟裂，坑洼等现象，这不仅增加了人们行车的风险，还大大降低了路面的安全质量。因此，在公路建设后期，对于路面检测及实时维护十分重要。鉴于传统人工路面检测方法费用高，效率低，公路上无法保障安全等问题，人们更注重于寻求新的方式去解决路面检测问题。当下，通过检测算法去实现路面检测逐渐成为一个突破口算法检测以其成本低，效率高，无安全风险等优势而引人注目。目前在路面损坏检测领域，基于机器视觉和深度学习1的方法可以更加有效地完成路面损坏场景下的检测任务。可将目标检测算法大略分为两种(Two stage 神经网络算法及 One stage 函数算法2 3)。在本次实验中，提出了在 YOLOv5 目标检测模型中进行稀疏化训练，然后对其进行网络剪枝处理，最后得到剪枝处理后的算法模型。1YOLOv5 算法1 1YOLOv5 算法简介YOLO4 7(you only look once)网络是一种基于回归的目标数据检测分析算法，具有快速的检测效果和高质量的检测结果，在许多目标检测中取得良好的 效 果。在 YOLO 算 法 的 发 展 过 程 中，从YOLOv1 开始，开创性的将识别与定位功能结合在一起;到 YOLOv28 使用了 anchor 机制局部预测，提高了定位的准确度以及召回率;再到 YOLOv39 目标检测算法使用残差模型和 FPN 架构实现多尺度检测这两个重大改进;YOLOv410 14 目标检测算法提高了 GPU 训练性能，同时也优化了神经网络;YOLOv5 目标检测算法在精度和速度方面都达到了很高的水准，模型可定制性强。其各系列的 YOLO结构对比如图 1 所示。YOLOInputBackboneNeckV1448*448Google NetV232xDarkNet 19PassthroughV332xDarkNet 53FONV432xCSPDarkNet 53SPPPANV5 5 0V32xC3NetSPPPAN图 1YOLO 系列结构对比图YOLOv5 目标检测算法由 4 个部分组成16 17，如图 2 所示。图 2YOLOv5 网络结构图在检测层(Prediction)中，Yolov5 中采用其中的CIOU Loss 做 Bounding box 的损失函数，充分考虑到了重叠面积、中心点距离、长宽比 3 个重要几何因素，大大提高了检测的精准度。采用了 nms 非极大值抑制，对一些重叠的目标起到了一定的改进作用。1 2改进的 YOLOv5 算法在深度学习实际落地过程中，为了适应嵌入式端 Al 算力不足的问题，通常需要对深度学习模型进行压缩，因此此次采用了非常优秀的 YOLOv5s 轻量级网络进行网络剪枝，如图 3 为网络剪枝的过程图。图 3网络剪枝过程图在进行网络剪枝的同时，要对训练结束后的 BN层 gamma 分布进行对比，当 BN 层的 gamma 分布近似于正态分布时，且 0 附近的值很少的，说明此时的模型并不适合进行网络剪枝。当训练结束的 BN 层gamma 接近于 0 时，说明此次的模型参数以及稀疏化，可以进行网络剪枝。其中在 BN 层计算方式如下:Z?=Zin 2+(1)49工业仪表与自动化装置2023 年第 4 期Zout=Z?+(2)其中，当添加了 L1 正则约束后，可以解决训练结束后的 BN 层 gamma 分布近似于正态分布的问题。其中 L1 正则约束公式如下:L=(x，y)l(f(x，W)，y)+g()(3)在训练期间对这些缩放因子施加稀疏正则化，以便自动识别不重要的通道，其中具有较小缩放因子值得通道会被剪枝。将缩放因子与卷积层中得每个通道关联。2训练算法及其实验结果分析2 1实验环境当前所进行的的实验平台主体上由 2 个部分相辅构成，其中硬件平台 CPU 为 i7 12700H，GPU 平台为 NVIDIA GeForce TX3050。其中软件平台配置具体为:Ubuntu18 04 软件操作系统 Anaconda3 2020 07 Linux x86_64、Cuda10 2、Cudnn7 6 5、Python3 8、Pytorch1 7、Opencv3 4、Torch1 6 0。2 2实验数据集准备本次项目的数据集选用公开路面损坏的数据集以及实地拍摄的路面损坏照片，一共 12 000 张照片。通过 LableImage 标注工具给每张照片加以标记，所产成的目标信息储存于相对应的 xml 文档。本次研究使用的是 PASCAL VOC 格式的数据集，其中文件夹层次方式如图 4 所示。图 4文件夹层次图2 3网络模型训练剪枝及微调在稀疏化训练过程中，对参数进行初始设定，其中 epoch(训练次数)80 次，batch size(训练批次数量)设置为 5，workers(CPU 加载训练数目)为 2，并且对 data 和 models 目录下的 yaml 文件进行修改配置参数。而在模型剪枝的参数设定时，设定剪枝频率为0 6。对剪枝后的网络模型进行微调，依然是保持epoch(训练次数)80 次，batch size(训练批次数量)设置为 5，workers(CPU 加载训练数目)为 2。2 4模型评估2 4 1模型算法评价指标目标识别检测算法，判断所识别目标的识别精度的主要指标之一是 map(英文全称 mean averageprecision)、Precision(精准率)、召回率(ecall)。如下为计算公式:Precision=TPTP+FP 100%(4)ecall=TPTP+FN 100%(5)mAP=NL=1P(L)(L)M(6)其中:TP 为模型正确预测正样本的个数;FP 为模型将负样本错误检测为正样本的个数;FN 为正样本被错误识别为负样本的个数;ecall 为召回率，即模型正确检测出正样本的个数所占的比率;N 为测试集中样本总数;M 为检测任务中类别的种数;P(L)为模型在同时识别 L 个样本时精确率的值;(L)为模型识别的样本个数从 l 1 变为 l 时，召回率的变化情况。2 5实验数据分析2 5 1稀疏化训练通过编写好的脚该文件进行训练 YOLOv5 目标检测算法的权重。如图 5 图 8 为稀疏化训练的过程图。图 5map 值变化图 6recall 值变化图 7precision 值变化图 8box loss 变化592023 年第 4 期工业仪表与自动化装置2 5 2网络模型剪枝对比如图 9 为稀疏化训练过程的 BN 训练中 gamma(缩放因子)和正常训练过程中的 BN 训练中 gamma(缩放因子)。由图十可知，正常训练的 BN 层 gam-ma 分布近似正态分布，无法进行剪枝。而稀疏化训练后的 BN 层 gamma 分布非常接近与 0，可以进行剪枝以及后续的微调训练。图 9正常训练的 BN 缩放因子变化图图 10稀疏化训练后的 BN 缩放因子变化图2 5 3不同网络模型对比实验为了验证改进后的 YOLOv5 目标检测算法和原本的 YOLOv5 目标检测算法之间的差别，该实验采取相同的 epoch(训练次数)80 次，batch size(训练批次数量)设置为 5，workers(CPU 加载训练数目)为2。同时，用相同的数据集在 YOLOv3、YOLOv4 进行训练权重。结果如表 1 所示。表 1测试结果对比模型权重/MBmAP/%ecall/%Yolov3Yolov4Yolov5该文算法2347233914176753786793814761787786798此外，为了更加直观看出正常训练的 YOLOv5目标检测算法和该文改进后的 YOLOv5 算法检测差距，该文另外采集了 100 张路面损坏照片作为验证集。分别在这个测试集进行测试，当路面有坑洞时，就会被检测并且标出“pothle”。如图为部分检测结果，图 11(a)、图 12(a)、图13(a)、图 14(a)为正常训练后的 YOLOv5 目标检测算法模型，图 11(b)、图 12(b)、图 13(b)、图 14(b)为稀疏化训练并剪枝训练后的 YOLOv5 目标检测算法模型。由图 11(a)(b)、图 12(a)(b)可以看出来，在相同的一张照片下，经过稀疏化训练并剪枝训练后的 YOLOv5 目标检测算法的精度要比正常训练的 YOLOv5 目标检测算法要高。由图 13(a)(b)、图14(a)(b)可以看出来，正常训练的 YOLOv5 目标检测算法对于不明显的路面坑洞有漏检的现象，而改进后的 YOLOv5 算法依然能检测出目标，说明改进后的 YOLOv5 目标检测算法提高了图像特征的提取能力，提高了目标检测的精度，能使漏检问题有一定的改善。虽然改进后的 YOLOv5 目标检测算法漏检现象和精度比原本正常训练的 YOLOv5 目标检测算法有一定的提高，但是在准确度上还是有一定的缺陷，这也是后续需要改进的地方。图 11路面损坏检测 1图 12路面损坏检测 2图 13路面损坏检测 3图 13路面损坏检测 43结论该文设计了基于改进的 YOLOv5 的路面检测算法，相较于以往传统路面检测算法，该文算法大大提69工业仪表与自动化装置2023 年第 4 期高了路面缺损的检测效率，同时弥补了传统路面检测方法的不足。随着现代化进程不断推进，人工智能不断发展，让深度学习模型检测替代传统路面检测，将显著提高工作效率，使公路维护工作更加高效快捷。参考文献:1肖德琴，蔡家豪，林思聪，等 基于 IFSSD 卷积神经网络的柚子采摘目标检测模型J 农业机械学报，2020，51(5):28 35+97 2 钱伍，王国中，李国平 改进 YOLOv5 的交通灯实时检测鲁棒算法 J 计算机科学与探索，202216(1):231 241 3 杨亚峰，苏维均，秦勇，等 基于语义标签的高铁接触网图像目标检测研究J 计算机仿真，2020，37(11):146 149+188 4 EDMON J，DIVVALA S，GISHICK，et al You on-ly look once:unified，real time object detection C/Computer Vision Pattern ecognition IEEE，2016 5 Al Masni M A，Al Antari M A，Park J M，et al Sim-ultaneous detection and classification of breast masses indigital mammograms via a deep learning YOLO basedCAD system J Computer Methods and Programs in Bi-omedicine，2018，157:85 94 6 HENDY，CHEN C Automatic license plate recogni-tion via sliding window darknet YOLO deep learning J Image and Vision Computing，2019，87:47 56 7 EDMON J，FAHADI A Yolov3:An incremental im-provement J arXiv preprint，2018 8EDMON J，FAHADI A YOLO9000:Better，Faster，Stronger C/IEEE Conference on Computer Vision Pattern ecognition IEEE，2017:6517 6525 9 EDMON J，FAHADI A Yolov3:An incremental im-provement J arXiv preprint arXiv:180402767，2018 10 万卓，叶明，刘凯 基于改进 YOLOv4 的电机端盖缺陷检测 J 计算机系统应用，2021，30(03):79 87 11 管军霖，智鑫 基于 YOLOv4 卷积神经网络的口罩佩戴检测方法 J 现代信息科技，2020，4(11):9 12 12黄海新，金鑫 基于 YOLOv4 的小目标缺陷检测 J 电子世界，2021(05):146 147 13 杨英彬，郭子彧，蔡利民 YOLOv4 的车辆检测方法研究 J 电子世界，2021(05):80 81+87 14 赵燕姣，李 钢，姚琼辛，等 基于改进 YOLOv4 算法在车辆检测中的应用J 电子设计工程，2022，30(24):37 42 15 王莉，何牧天，徐硕，等 基于YOLOv5s 网络的垃圾 分类和检测 J 包装工程，2021，42(8):50 56 16 黄剑翔，朱硕 基于改进的 YOLOv5 算法道路目标检测分类技术研究J 电子设计工程，2023，31(4):188 193(上接第 92 页)3 XU Z B，YAN J H，JI M L，et al An SOI structured-Piezoresistive differential pressure sensor with high per-formance J MICOMACHINES，2022，13(12):2250 4 WU C，FANG X D，GUO X，et al Optimal design of SiCpiezoresistive pressure sensor considering materialanisotropy J EVIEW OF SCIENTIFIC INSTUM ENTS，2020，91(1):15004 5 MEHMOOD Z，HANEEF I，UDEA F Material selectionfor optimum design of MEMS pressure sensors J MIC-OSYSTEM TECHNOLOGIES，2020，26(9):2751 2766 6 王健 基于牺牲层技术的多晶硅纳米膜压力传感器芯片 D 沈阳:沈阳工业大学，2015 7揣荣岩 多晶硅纳米薄膜压阻机理与特性的研究 D 哈尔滨:哈尔滨工业大学，2007 8THAWONSATHIT P，JUNTASAO E，ATTANASONTIH，et al Mechanical diaphragm structure design of a MEMSbased piezoresistive pressure sensor for sensitivity a ndlinearity enhancement J ENGINEEING JOU NAL THAILAND，2022，26(5):43 57 10 LE Q C，NGUYEN T K，TINH X T，et al Formula-tion of geometrically nonlinear numerical model for de-sign of MEMS based piezoresistive pressure sensor op-erating in the low pressure range J SENSING ANDIMAGING，2022，23(1):32 11 JINDAL S K，MAGAM S P，SHAKLYA M Analyticalmodeling and simulation of MEMS piezoresistive pressuresensors with a square silicon carbide diaphragm as theprimary sensing element under different loading condi-tions J JOUNAL OF COMPUTATIONAL ELEC-TONICS，2018，17(4):1780 1789 12 LI C，ZHAO L，OCAA J L，et al Characterization andanalysis of a novel structural SOI piezoresistive press ure sensor with high sensitivity and linearity J Mic rosystem Technologies，2020，25(10):123 127 13JINDAL S K，DE，KUMA A，et al Novel MEMSpiezoresistive sensor with hair pin structure to enhancetensile and compressive sensitivity and correct non lin-earity J Journal of Electronic Testing，2020，36(1):139 143 14 NAMAZU T，ISONO Y，TANAKA T Evaluation of sizeeffect on mechanical properties of single crystal siliconby nanoscale bending test using AFM J JOUNALOF MICOELECTOMECHANICAL SYSTEMS，2000，9(4):450 459792023 年第 4 期工业仪表与自动化装置