识别安全帽佩戴的轻量化网络模型_胡文骏.pdf

2023，59（13）在工地安全管理中，安全帽佩戴是一个很重要的方面，安全帽能够有效地减少高空坠物和打击碰撞的伤害。在施工过程中，会出现施工人员不戴安全帽、有非施工人员闯入工地等情况，这些都会对施工安全造成一定的影响，在施工过程中对安全帽佩戴行为进行实时，准确的监管是很重要的环节。目前，主要还是以人工的方式去对安全帽佩戴行为进行监管，这样做是一件很耗时、耗人力的事，存在人力资源浪费的问题。同时监管人员可能疏忽或者监管不严，会带来一定的安全隐患。采取基于深度学习的目标检测算法来对安全佩戴行为进行检测，可以对工地安全进行更准确、更实时的监管，同时还可以节省人力资源，提高监管效率。近些年来，神经卷积网络发展迅速，在目标检测领域取得不少进步，比如YOLOv41、SSD2等one stage的目标检测算法，取得了精度和速度的平衡，比 FasterRCNN、R-CNN、Fast R-CNN3-5等two stage目标检测算识别安全帽佩戴的轻量化网络模型胡文骏，杨莉琼，肖宇峰，何宏森西南科技大学 信息工程学院，四川 绵阳 621010摘要：安全帽佩戴识别是一种分类少的目标检测任务，使用现有精度较高的大型深度学习网络模型来识别安全帽佩戴，存在参数冗余问题且计算较大，不利于部署在计算量有限的嵌入式设备中以适应实际的工地环境。针对以上问题，提出了一种适合部署在嵌入式设备中的轻量化网络模型YOLO-Ghost-BiFPNs3。在YOLOv4的基础上，基于Ghost模块重构新的网络结构并对网络的深度和宽度进行裁剪；设计一种基于通道加权相加的轻量化模块BiFPNs3来替换原来计算量较大的FPN+PAN的结构；采用更容易量化的H-Swish激活函数；在Safety-Helmet-Wearing-Dataset数据集上进行实验，在测试集上，mAP0.5为91.1%，相较于YOLOv4精度仅损失1个百分点，比轻量化网络模型YOLOv4-Tiny精度高26个百分点。参数量为原来YOLOv4的3%，计算量仅为原来YOLOv4的5.8%。关键词：目标检测；轻量化网络模型；安全帽佩戴识别；Ghost模块文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2203-0357Lightweight Network Models and Applications for Identifying Helmet WearHU Wenjun,YANG Liqiong,XIAO Yufeng,HE HongsenSchool of Information Engineering,Southwest University of Science and Technology,Mianyang,Sichuan 621010,ChinaAbstract：Helmet wearing recognition is a target detection task with less classification.The existing large-scale deeplearning network model with high accuracy is used to identify helmet wearing,which has problems of parameter redun-dancy and large calculation,which is not suitable for deployment in embedded devices with limited computation to adaptto the actual site environment.To solve these problems,a lightweight network model YOLO-Ghost-BiFPNs3 suitable forembedded devices is proposed.On the basis of YOLOv4,a new network structure is reconstructed based on Ghost module,and the depth and width of the network are trimmed.BiFPNs3,a lightweight module based on weighted channel addition,is designed to replace the FPN+PAN structure which has a large amount of calculation.A more quantifiable H-Swishactivation function is used.Experiments are carried out on the Safety-Helmet-Wearing-Dataset dataset.In the test set,mAP0.5 is 91.1%,which only loses 1 percentage point of accuracy compared with YOLOv4,and is 26 percentagepoints higher than the lightweight network model YOLOv4-Tiny.The number of parameters is 3%of that of YOLOv4,and the computational amount is only 5.8%of that of YOLOv4.Key words：target detection;lightweight network model;helmet wearing identification;Ghost module基金项目：四川省重点研发项目（21ZDYF1254）。作者简介：胡文骏（1998），男，硕士研究生，主要研究方向为计算机视觉；杨莉琼（1980），通信作者，女，博士，副教授，主要研究方向为建筑安全管理、建筑信息化；肖宇峰（1978），男，博士，教授，主要研究方向为计算机视觉、人工智能；何宏森（1975），男，博士，教授，主要研究方向为信号处理、人机语音交互。收稿日期：2022-03-23修回日期：2022-05-11文章编号：1002-8331（2023）13-0149-07Computer Engineering and Applications计算机工程与应用149Computer Engineering and Applications计算机工程与应用2023，59（13）法速度更快，能真正用在实时的应用中。但其网络规模、参数量、计算量仍然较大，需要较好的GPU才能有比较快的推理速度。在工地环境中，一方面是使用嵌入式设备能更好地适应工地环境6，但像YOLOv4这种计算量大的神经网络难以在嵌入式设备中运行；另一方面，在现实的情况中需要对不止一处同时进行安全帽佩戴检测，使用计算量大的神经网络会占用较多的GPU算力，会增加服务器的成本。安全帽佩戴识别任务，分类数只有两个，盲目地增加网络的规模，不能大幅度提升识别精度，无法取得计算量和精度之间好的性价比。YOLOv4-Tiny7-9作为 YOLOv4 针对于嵌入，低端 GPU设备设计的轻量级卷积神经网络，由于颈部网络只保留大，中目标的检测尺度，虽然加快了检测速度，但也降低了安全帽佩戴头部这种小目标检测10-12的精度。2020年，Han等13提出了基于GHost模块的卷积神经网络，利用线性变化成更多的特征图，以很小的代价从原始特征中挖掘更多的特征信息，在效率上和准确度上高于只使用可分离卷积的轻量级神经网络。大型的精度高的网络结构在安全帽佩戴识别14任务中模型冗余，不利于部署在计算量有限的嵌入式设备中。针对这个问题，本文在主流的目标识别算法YOLOv4的基础上，基于Ghsost模块重构新的主干特征提取网络，与大型网络相比，该网络的参数量和浮点数计算更少，而且精度损失少。同时对网络的通道数和深度进行裁剪进一步减少计算量，设计基于通道加权相加的 BiFPNs3 轻量化模块，来替代 YOLOv4 中的 FPN+PAN结构，该模块相对于FPN+PAN的结构通道数要少，推理速度更快，精度影响小；激活函数使用适合嵌入式设备中的hard-Swish激活函数，相对于YOLOv4的复杂的Mish激活更容易量化，更适合嵌入式设备；设计一种具有精度高、效率高，适合部署在计算资源有限的嵌入式设备中的轻量级网络 YOLO-Ghost-BiFPNs3。在Safety-Helmet-Wearing-Dataset公开安全帽数据集测试结果表明，YOLO-Ghost-BiFPNs3安全帽佩戴检测具有较高的准确率和较快的推理速度，无论是精度还是速度都强于现有的轻量级网络模型YOLOv4-Tiny，对比原来的YOLOv4精度损失少，适合应用于实际的工地环境。1YOLO-Ghost-BiFPNs3YOLOv4目标识别算法作为YOLOv315的升级算法，在输入端采用mosaic数据增强16，提高了对于小目标的识别精度。特征提取网络在YOLOv3的Darkent53的基础上，融合交叉阶段部分连接的思想，设计出计算复杂度小同时识别精度高的特征提取网络CSPDarkent5317。颈部网络采用FPN+PAN的结构，FPN自顶向下传递高层的语义信息，PAN自下而上传递低层的定位信息，有效缓解了深层网络丢失浅层网络的特征信息问题。引入SPP模块，融合不同的感受野，融合局部特征和全局特征，提高了对网络对于目标大小差异大情况下的识别效果。采取综合考虑了目标重叠面积、长框比、真实框和预测框中心距离的 CIOU-Loss 作为 Bouding box的损失函数，提高了识别精度。采用非极大值抑制算法（NMS）18-19。1.1Ghost模块特征图冗余是卷积神经网络的重要特点，特征图中会有很多类似或者冗余的特征，这些冗余的特征可以基于某个基础特征通过线性的变换获得。Ghost模块通过常规卷积提取丰富的特征信息，对冗余特征信息采取廉价的线性变换生成，这样能够有效地节省模型所需的计算资源。图1表示标准卷积，图2表示Ghost模块，其中X表示廉价的线性操作，都会输出相同数量的特征图。假设每个基础特征有s个冗余特征，那么只需要输出n/s个基础特征就可以，接着对每个基础特征进行廉价的线性变换，生成对应的冗余特征。这样可以降低模型的计算量，GFLOPS是标准卷积的1/s。设线性操作部分采用的卷积核平均尺寸为dd，理论加速比率r，如式（1）所示，h和w为输出特征层的长和宽，k为标准卷积核尺寸，n为卷积和数目，c为输入的通道数，若dd与kk相同，且sc，则理论上速度提升为原来的s倍。r=nhwckknshwckk+(s-1)nshwdd=ckk1sckk+s-1sddscs+c-1s（1）1.2BiFPNs3模块BiFPNs3如图3所示，其中用stride=2的深度可分离卷积实现下采样，不使用池化，减少信息损失。特征融合采用加权相加，不使用拼接的方式，BiFPNs3模块InputConvOutput图1标准卷积Fig.1Standard convolution图2Ghost模块Fig.2 Ghost moduleInputConvIdentityOutputx1x2x31502023，59（13）的P6和P5尺度层的通道数由原来的FPN+PAN结构的256降低为128，这样可以提升模型的推理速度。相较于YOLOv4-Tiny的颈部网络而言，多了P4尺度层，在识别安全帽佩戴头部相对较小目标时，精度要高。1.3hard-Swish激活函数YOLOv4中有着大量的Mish激活函数，如式（2）所示，虽然其平滑的特性，具有更高的精度，但是由于thanh(ln(x+ex)量化较为复杂，不适合在计算资源有限的嵌入式的设备中运行。本文使用具有一定的平滑特性、计算量小、量化较为容易、适合部署在计算资源有限的嵌入式设备中的hard-Swish激活函数，如式（3）所示：Mish(x)=xthanh(ln(x+ex)（2）Hard-Swish(x)=xReLU6(x+3)6（3）ReLU6(x)=min(max(0,x),6)（4）1.4YOLO-Ghost-BiFPNs3YOLO-Ghost-BiFPNs3网络结构如图 4所示，其中CBH 是使用了批量归一化（batch normalization，BN）和hard-Swish激活函数的步长为1的卷积层，CBH（s=2）中的卷积步长为2，用于下采样。图5中DWConv表示深度可分离卷积，Concat表示特征图拼接；图5中add表示特征图相加，maxpool表示最大值池化；图3中addwsGhostResUnitaddws上采样addwsGhostResUnitaddws下采样下采样GhostResUnitGhostResUnitaddwsGhostResUnitaddws上采样GhostResUnitP6P5P4P6_tdP5_tdP4_tdP6_out1919128P5_out3838128P4_out7676128图3BiFPNs3网络结构Fig.3Network structure of BiFPNs3图4YOLO-Ghost-BiFPNs3网络结构Fig.4Network structure of YOLO-Ghost-BiFPNs3输入608608CSP_1GhostCSP_2GhostCSP_2CBHSPPGhostCSP_1CBH767612876761283838256383812819191281919256BiFPNs3CBHP4P5P6 ConvCBH Conv ConvP4_outP5_outP6_out输出767621383821191921CBH(s=2)CBH(s=2)CBH(s=2)CBH(s=2)CBH(s=2)胡文骏，等：识别安全帽佩戴的轻量化网络模型151Computer Engineering and Applications计算机工程与应用2023，59（13）表示加权相加之后通过hard-Swish激活函数激活，其中W表示权重，通过训练得到，如式（5）所示：addws=hard-Swish(iNwixi)（5）1.5Mosaic数据增强Mosaic数据增强是首先对4张进行随机缩放、随机裁剪、随机排布等操作，然后将其拼接起来，形成一张图片，这样能加强对小目标的检测效果。1.6损失函数YOLOv4的总损失函数为置信度损失函数loss1、分类损失函数loss2、边界框回归损失函数loss3之和。1.6.1置信度损失YOLOv4的置信度损失函数如式（6）所示，网格是SS个，每个网格产生B个候选框anchor box，每个候选框会经过网络得到相应的bounding box。loss1=i=0S2j=0BWobjijC?jilog(Cji)+(1-C?ji)log(1-Cji)-lnoobji=0S2j=0B(1-Wobjij)C?jilog(Cji)+(1-C?ji)log(1-Cji)（6）Cji=Pi,jIOUtruthpred（7）Wobjij：表示第i个网格的第j个anchor box是否预测这个object，如果负责则为1。Cji：表示第i个网格中第j个边界框的置信度分数。Pi,j：用来判别是否为目标的函数（0/1）。C?ji：表示真实值，其取值是由网格的bounding box有没有负责预测某个对象决定的。如果负责，则为1；否则为0。1.6.2分类损失YOLOv4的分类损失函数如式（8）所示：loss2=i=0S2j=0BWobjijc=1Cp?ji(c)log(pji(c)+(1-p?ji(c)log(1-pji(c)（8）p?ji(c)：表示对象在i个网格的第j个边界框中属于c类的预测概率。pji(c)：表示对象在i个网格的第j个边界框中属于c类的真概率。1.6.3边界框回归损失函数CIOU_Loss损失函数如式（9）所示，其中b、bgt表示预测框和真实框的中心点，表示两个中心点间的距离d，c表示能够同时包含预测框和真实框的最小闭包的对角线的距离，表示权重函数，IOU表示真实框和预测框相交的面积。如图6所示，左上角的框表示预测框，右下角的框表示真实框。loss3=1-IOU+(b,bgt)c2+v（9）CBH=ConvBNhard-SwishDBH=DWConvBNhard-SwishSPP=MaxpoolCBHMaxpoolMaxpoolConcatCBHGhostConv=CBHDBHConcatResUnit=CBHCBHaddGhostResUnit=GhostConvDBHGhostConvaddCSP_X=CBHResUnitConcatCBHX个残差构件GhostCSP _X=CBHGhostResUnitCBHConcatCBHCBHCBHX个残差构件图5网络组件Fig.5Network components图6锚框Fig.6Anchor boxdc1522023，59（13）v=4(arctanwgthgt-arctanwh)2（10）2实验与分析2.1实验环境算法验证环境使用 Windows10 系统，cuda10.2，cudnn7.0；硬件配置为 NVIDIA Quadro P5000 显卡，IntelXeonCPU E5-2620v4处理器。使用Pytorch深度学习框架实现YOLO-Ghost-BiFPNs3。2.2实验数据集数据集使用Safety-Helmet-Wearing-Dataset数据集7 581 张，将数据集划分为：训练集 5 038 张，验证集1 026张，测试集1 517张。数据标注两个分类：wear（佩戴安全帽）和no_wear（未佩戴安全帽）。2.3YOLO-Ghost-BiFPNs3性能对比为了YOLO-Ghost-BiFPNs3模型的有效性，本文将模型和 YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny进行性能对比，如表1所示。其中所有模型统一使用640640作为模型输入图片尺寸；在表1中，YOLO-Ghost为通过用Ghost模块对YOLOv4重构和裁剪得出的网络结构，相较于 YOLO-Ghost-BiFPNs3 速度要慢些，可见 BiFPNs3 模块对模型运行速度的提升。其中YOLO-Ghost-BiFPNs3-0.5为YOLO-Ghost-BiFPNs将每层通道数减为原来的一半的网络模型。在从表1中可以看出，YOLO-Ghost-BiFPNs3在精度上大大超过了轻量级网络YOLOv4-Tiny，同时参数更小，计算量更小，速度更快；相对于 YOLOv4来说，推理速度更快，计算量小，仅为YOLOv4的5.8%，便于部署在计算资源有限的设备中。2.4实验效果测试如图7为YOLO-Ghost-BiFPNs3在部分测试集上的识别结果，其中wear表示佩戴安全帽，no_wear表示未佩戴安全帽。如图8和图9为YOLO-Ghost-BiFPNs3在部分测试集识别效果，图 10 和图 11 为 YOLO-Ghost-BiFPNs3-0.5在部分测试集识别效果。从中可以看出，将 YOLO-Ghost-BiFPNs3的每层通道数减半后获得了表1性能指标对比Table 1Comparison of performance indexs模型YOLO-Ghost-BiFPNs3-0.5YOLO-Ghost-BiFPNs3ShuffleNetV2-YOLOv5MobileNetV3-YOLOv5YOLOv3-TinyYOLOv4-TinyYOLO-GhostYOLOv3YOLOv4YOLOv3-Spp参数量/1062.097.301.2010.2033.1022.408.10234.00244.00238.00GFLOPs2.568.201.5610.1612.8016.0010.20154.50140.90155.40mAP0.5/%89.2091.1084.8090.4053.0065.9091.2076.8092.1077.10速度/ms13.4016.1016.3020.1023.6024.5026.3062.8062.9063.20图7识别结果Fig.7Results of identification图8YOLO-Ghost-BiFPNs3识别结果（1）Fig.8Result of YOLO-Ghost-BiFPNs3 identification（1）图9YOLO-Ghost-BiFPNs3识别结果（2）Fig.9Result of YOLO-Ghost-BiFPNs3 identification（2）胡文骏，等：识别安全帽佩戴的轻量化网络模型153Computer Engineering and Applications计算机工程与应用2023，59（13）较高的速度，但在一些情况下，对于较小的目标存在漏检的情况。3结论针对于大型的深度学习网络模型在分类少的安全帽佩戴识别任务中模型冗余且不便于部署在计算资源有限的嵌入式设备中，本文提出基于Ghost模块的轻量级算法YOLO-Ghost-BiFPNs3。该算法通过Ghsot模块和模型裁剪，对YOLOv4的主干网络进行了轻量化，有效地压缩了模型的体积和运算量，减少了模型占用显卡算力资源，提升了模型的运行效率。同时采用轻量的BiFPNS3模块，替换原来计算量大的FPN+PAN的结构，进一步地减少了计算量。同时在激活函数，使用了更容易量化的hard-Swish激活函数，减少了模型的计算量。该算法具有计算量小，运行效率高，精度高的优点，便于部署在嵌入式设备中。实验结果表明，本文提出的方法在分类数少的情况下，有效地对YOLOv4模型进行了压缩，相较于同样是对模型进行压缩的 YOLOv4-Tiny 精度要高很多，和YOLOv4相比模型的计算量小、体积小，对低算力的嵌入式平台友好。此外，本文提出的方案不仅仅可以对YOLOv4模型进行压缩和裁剪，同样也为其他算法压缩和裁剪提供了思路。在深度学习很多实际应用中，分类数是不需要像COCO数据集中有80个种类的分类，小的网络是可以在分类数少的情况下取得好的精度。该算法为其他分类数少且需要应用在嵌入式设备的情况提供了一种思路。参考文献：1 BOCHKOVSKIY A，WANG C Y，LIAO H Y M.YOLOv4：optimal speed and accuracy of object detectionJ.arXiv：2004.10934，2020.2 LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shotmultibox detectorC/Proceedings of the European Con-ference on Computer Vision，2016：21-37.3 GIRSHICK R，DONAHUE J，DARRELL T，et al.Richfeature hierarchies for accurate object detection andsemantic segmentationC/Proceedings of the IEEE Con-ference on Computer Vision and Pattern Recognition，2014：580-587.4 GIRSHICK R.Fast R-CNNC/Proceedings of the IEEEInternational Conference on Computer Vision，2015：1440-1448.5 REN S，HE K，GIRSHICK R，et al.Faster R-CNN：towardsreal-time object detection with region proposal networksC/Advances in Neural Information Processing Systems，2015：91-99.6 何之源.高性能嵌入式AI计算平台的人机交互手势控制识别J.电子技术与软件工程，2022（2）：145-148.HE Z Y.Human-computer interaction gesture control rec-ognition based on high-performance embedded AI com-puting platformJ.Electronic Technology and SoftwareEngineering，2022（2）：145-148.7 卢迪，马文强.基于改进YOLOv4-tiny算法的手势识别J.电子与信息学报，2021，43（11）：3257-3265.LU D，MA W Q.Gesture recognition based on improvedYOLOv4-TinyalgorithmJ.Journal ofElectronicsandInformation Technology，2021，43（11）：3257-3265.8 丛玉华，何啸，朱惠娟，等.基于改进 YOLOv4-Tiny 网络的安全帽监测系统J.电子技术与软件工程，2021（19）：121-124.CONG Y H，HE X，ZHU H J，et al.Safety helmet moni-toring System based on improved YOLOv4-Tiny net-workJ.Electronic Technique and Software Engineering，2021（19）：121-124.9 周华平，王京，孙克雷.改进的YOLOv4-Tiny行人检测算法研究J.无线电通信技术，2021，47（4）：474-480.ZHOU H P，WANG J，SUN K L.Research on improvedYOLOv4-TinypedestriandetectionalgorithmJ.RadioCommunication Technology，2021，47（4）：474-480.10 李科岑，王晓强，林浩，等.深度学习中的单阶段小目标检测方法综述J.计算机科学与探索，2022，16（1）：41-58.LI K C，WANG X Q，LIN H，et al.Survey of one-stage图11YOLO-Ghost-BiFPNs3-0.5识别结果（2）Fig.11Result of YOLO-Ghost-BiFPNs3-0.5 identification（2）图10YOLO-Ghost-BiFPNs3-0.5识别结果（1）Fig.10Result of YOLO-Ghost-BiFPNs3-0.5 identification（1）1542023，59（13）smallobjectdetectionmethodsindeeplearningJ.Journal of Frontiers of Computer Science and Technology，2022，16（1）：41-58.11 彭豪，李晓明.基于改进Faster R-CNN的小目标检测模型J.电子测量技术，2021，44（24）：122-127.PENG H，LI X M.Small target detection model basedon improved Faster R-CNNJ.Electronic MeasurementTechnology，2021，44（24）：122-127.12 李彦辰，张小俊，张明路，等.基于改进Efficientdet的自动驾驶场景目标检测J.计算机工程与应用，2022，58（6）：183-191.LI Y C，ZHANG X J，ZHANG M L，et al.Objectdetection in autonomous driving scene based on improvedEfficientdetJ.Computer Engineering and Applications，2022，58（6）：183-191.13 HAN K，WANG Y，TIAN Q，et al.GhostNet：more fea-tures from cheap operationsC/Proceedings of 2020IEEE/CVF Conference on Computer Vision and PatternRecognition（CVPR），2020：1580-1589.14 郭师虹，井锦瑞，张潇丹，等.基于改进的YOLOv4安全帽佩戴检测研究J.中国安全生产科学技术，2021，17（12）：135-141.GUO S H，JING J R，ZHANG X D，et al.Research onwearing detection of safety helmet based on improvedYOLOv4J.China Safety Science and Technology，2021，17（12）：135-141.15 沈震宇，朱昌明，王喆.基于 MAML 算法的 YOLOv3 目标检测模型J.华东理工大学学报（自然科学版），2022，48（1）：112-119.SHENG Z Y，ZHU C M，WANG Z.YOLOv3 targetdetection model based on MAML algorithmJ.Journalof East China University of Science and Technology（Natural Science Edition），2022，48（1）：112-119.16 万卓，叶明，刘凯.基于改进YOLOv4的电机端盖缺陷检测J.计算机系统应用，2021，30（3）：79-87.WAN Z，YE M，LIU K.Based on improved YOLOv4motor end cover defect detectionJ.Computer SystemApplication，2021，30（3）：79-87.17 杨艳红，钟宝江，田宏伟.DS-YOLOv4-Tiny救援机器人目标检测模型J.计算机仿真，2022，39（1）：387-393.YANG Y H，ZHONG B J，TIAN H W.Target detectionmodel of DS-YOLOv4-Tiny rescue robotJ.ComputerSimulation，2022，39（1）：387-3918 杨有为，周刚.面向自然场景文本检测的改进 NMS 算法J.计算机工程与应用，2022，58（1）：204-208.YANG Y W，ZHOU G.Improved NMS algorithm for textdetection in natural scenesJ.Computer Engineering andApplications，2022，58（1）：204-208.19 张莹，刘子龙，万伟.基于Faster R-CNN的无人机车辆目标检测J.电子科技，2021，34（11）：11-20.ZHANG Y，LIU Z L，WAN W.Based on Faster-R-CNNunmanned aircraft vehicle detectionJ.Journal of Elec-tronic Science and Technology，2021，34（11）：11-20.胡文骏，等：识别安全帽佩戴的轻量化网络模型155