收藏 分销(赏)

基于巡逻无人机的轻量型安全帽佩戴检测方法与应用.pdf

上传人:自信****多点 文档编号:583387 上传时间:2024-01-02 格式:PDF 页数:14 大小:5.99MB
下载 相关 举报
基于巡逻无人机的轻量型安全帽佩戴检测方法与应用.pdf_第1页
第1页 / 共14页
基于巡逻无人机的轻量型安全帽佩戴检测方法与应用.pdf_第2页
第2页 / 共14页
基于巡逻无人机的轻量型安全帽佩戴检测方法与应用.pdf_第3页
第3页 / 共14页
亲,该文档总共14页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、目前,安全帽检测系统主要使用固定摄像头,无法实现全区域检测,而基于深度学习的检测算法结构复杂、计算成本高,无法满足移动端和嵌入式设备的部署要求。针对上述问题,该文提出一种基于无人机的安全帽轻量型视觉检测算法。系统通过无人机平台搭载的相机对施工现场进行图像采集,并无线传输至后台计算机进行处理,检测算法基于YOLOv5s框架进行了轻量化改进。针对无人机采集影像中目标占比较小的问题,该文采用了多尺度检测、图像预处理、正负样本不均衡等方法,对YOLOv5s目标检测算法进行针对性改进。测试结果表明,与原模型相比,轻量型目标检测模型的平均精度均值仅下降了1.7 2%,但在同一CPU上的推理速度提升了1倍,

2、浮点计算量由原来的每秒165亿次压缩至每秒34亿次,模型大小约为原模型的1/10。关键词轻量型检测算法;安全帽检测;无人机;自动巡航中图分类号TP39Research on Safety Helmet Recognition Method and Application UsingZHANG Chuanshen XU Sheng*HU Jia WANG Qiang(Shandong Institute of Advanced Technology,Chinese Academy of Sciences,Jinan 250102,China)2(China Mobile Shandong Co.

3、,Ltd.,Dezhou Branch,Dezhou 253521,China)(Shenzhen Institute of Advanced Technology,Chinese Academy of Sciences,Shenzhen 518055,China)Abstract The existing helmet detection system mainly uses a fixed camera,it cannot achieve full-area德州2 5 35 2 1)文献标志码Adoi:10.12146/j.issn.2095-3135.20220720001Patrol

4、Unmanned Aerial Vehicle4(Inspur Group Co.,Ltd.,Jinan 250101,China)*Corresponding Author:收稿日期:2 0 2 2-0 7-2 0 修回日期:2 0 2 3-0 2-2 2基金项目:山东省重点研发计划项目(2 0 2 1CXGC011304);深圳市科技计划资助项目(JCYJ20210324102401005)作者简介:张传深,硕士,研究方向为嵌入式与人工智能;徐升(通讯作者),副研究员,硕士研究生导师,研究方向为目标定位、信号处理、智能机器人,E-mail:s h e n g.x u s i a t.a c

5、.c n;胡佳,硕士,研究方向为无人机组合导航;王强,硕士,研究方向为机器人开发、多传感器融合。4期张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用19detection,and the previous detection algorithms based on deep learning have complex structures and highcomputational costs,which cannot meet the requirements of using mobile vehicles and embedded devices.Inthis paper,a

6、lightweight helmet detection algorithm scheme based on unmanned aerial vehicle is proposed.Thedrone is loaded with camera to collect images of the construction site,and the image data is transferred to thecomputer via wireless communication.Based on the YOLOv5s target detection algorithm,a lightweig

7、ht detectionalgorithm is investigated.To improve the detection more eficient,the YOLOv5s target detection algorithm isimproved in terms of multi-scale detection,image preprocessing,unbalanced positive and negative samples,andinference speed.This design scheme combines deep learning and unmanned aeri

8、al vehicle technology,not onlyto realize real-time automatic detection of helmet wearing,but also can realize the full-area helmet detection ofthe construction site.Real experiments show that,the lightweight target detection model is only 1.72%lower thanthe mean average precision of the original mod

9、el.The inference speed on the same CPU can be doubled,and thefloating-point calculation is reduced from 16.5 billion to 3.4 billion times per second.The model size is almost1/10 of the original size.Keywords lightweight detection algorithm;safety helmet detection;unmanned aerial vehicle;automaticpat

10、rolFunding This work is supported by Key Research and Development Program of Shandong Province(2021CXGC011304),and Shenzhen Science and Technology Program(JCYJ20210324102401005)1 引 言建筑工地中,佩戴安全帽有较高的防护作用。但在实际工作中,很多工人由于施工原因不愿佩戴安全帽,导致安全事故时有发生。目前,针对工人不佩戴安全帽的行为,各施工工地多采用人工巡查结合摄像头监控的方式进行检查,这不仅造成了人力、物力的浪费,而且

11、效率低下。随着科学技术的进步,众多学者对如何自动实时地检测工人佩戴安全帽展开了广泛的研究。朱富云等 通过人体几何特征对头部进行定位,然后使用模板匹配的方法进行安全帽匹配。Waranusast 等2 1 使用 K-近邻(K-nearest neighbor,K-NN)分类器从区域属性中提取特征并进行分类,完成摩托车骑手头部识别,然后根据投影分析,对识别出的骑手头部进行计数和分割。进而,基于头部区域分割的特征,利用K-NN分类器将头部分为戴安全帽或不戴安全帽。Rubaiyat等3 将图像的频域信息与流行的人体检测算法定向梯度直方图相结合,用于识别建筑工人,然后基于颜色和圆霍夫变换特征提取技术,检测

12、建筑工人的头盔使用情况。此外,对于除安全帽之外的各类人体佩戴物或运动人员等目标,也有大量学者提出了基于图像处理的各类方法4-5 。上述研究虽然取得了一定成果,但仍存在特征提取困难、泛化性能差等问题,随着深度学习技术的发展,为目标检测提供了许多新方法6-7 。基于深度学习的目标检测方法一般包括双阶段检测的区域卷积神经网络(region convolutionalneural network,R CNN)、空间金字塔池化网络、快速卷积神经网络、超快卷积神经网络(FasterRCNN)、遮掩卷积神经网络和单阶段检测的一次观测法(You Only Look Once,YO LO)系列和单观测多窗口检测

13、。双阶段检测的检测精度高,20但因网络结构限制,检测速度较慢;单阶段检测是基于回归的检测算法,虽然检测精度略逊于双阶段检测,但其检测速度非常快。目前,有大量研究学者将上述基于深度学习的目标检测方法用于安全帽的检测。张勇等8 使用改进的YOLOv3对安全帽进行检测,准确率为96.5%,检测速度为5 9.6 fps。孙国栋等9 通过融合自注意力机制改进Faster RCNN,与传统的FasterRCNN相比,其平均精度均值(mean average precision,mAP)提高了4%。张明媛等10 使用FasterRCNN目标检测网络,实时监测工人的安全帽佩戴状况,该模型的平均精度为9 0.9

14、 1%,召回率为89.19%。王忠玉11利用一种融合深度卷积神经网络固有的特征金字塔多层特征进行分层预测的方法,并基于 Faster RCNN进行改进,设计了一种基于深度学习的安全帽佩戴检测算法。徐守坤等12 基于原始Faster RCNN,利用多尺度训练等方法增强网络检测不同尺寸目标的鲁棒性,并对正负样本不均衡进行处理。夏鼎等13提出包含部件特征增强、部件特征融合及人体特征增强模块的深度学习方法,以改善人体部位及行为识别准确性。王雨生等14 首先通过肤色识别和头部识别进行交叉验证确定头部区域,然后使用YOLOv4目标检测网络识别安全帽,最后通过安全帽区域与头部区域的位置关系,判断安全帽的佩戴

15、情况。韩锟等15 对YOLOv3的网络结构、损失函数及先验框尺寸进行改进,提出YOLOv3-C模型,该模型的检测性能较YOLOv3有大幅提升。上述基于深度学习的安全帽检测方法,虽然检测速度快、准确度高,但是结构较为复杂、计算量过大,难以满足实际应用的需求。针对上述问题,本研究提出一种轻量型安全帽目标检测算法。此外,无人机作为一种灵活的载具,可以高效实现对地观察,从而推动各类监测应用的发展16-17 。本文应用自主研发的巡逻无人机18 进行集成技术施工工地的图像采集,有效解决了固定摄像头视野范围受限的问题,并且可以替代人工巡逻,节省人力成本的同时,提高了安全帽的检测效率,保证了工人的安全。2YO

16、LO目标检测原理YOLOv5是YOLO系列最新的检测网络,其图像推理速度最快可达到每秒140 帧(140 fps),满足实时检测需求。另外,与YOLOv4相比,YOLOv5结构更为小巧,权重文件最小为14MB。虽然YOLOv5模型在GPU上的检测速度较快,模型体积较小,但对于移动端或嵌入式设备,仍不能满足其计算量和模型所占内存,无法进行部署与应用。针对该问题,本文从减小算法深度、重构算法结构两个方面,对YOLOv5s目标检测算法进行模型轻量化设计,在保证检测精度微小下降的前提下,减少模型的参数和计算量,加快模型的推理速度。针对无人机采集图像中目标占比较小,识别准确率差的问题,本文对网络的空间金

17、字塔池(spatial pyramid pooling,SPP)结构进行改进。此外,为提高目标检测模型对安全帽检测的准确性,还使用CIoU损失替换GIoU损失。YOLO算法摒弃了串口窗口滑动的思想,直接将原始图像分割成SS的小方格,并通过卷积生成SXS特征图,根据滑动窗口思想,可认为特征图的每个元素都对应原始图像的一个小方格。然后,用特征图的每个元素预测中心在该格子内的目标,即YOLO算法最基本的思想19。YOLOv5目标检测网络通过图1中各模块一系列的卷积、归一化、激活、池化、上采样等操作,将输入尺寸为6 40,6 40 的图片的特征提取至2 0 2 0、40 40、8 0 8 0,3个不同

18、尺寸的特征图,以预测不同大小的目标。特征图通道为3(1十4十C)。其中,4为先验锚框坐标相对于预测框坐标的偏移量(t,t,tw,th)。C为每个类别2023年4期对应的概率,本研究中C为2。3为每个网格预测先验框(anchorbox)的个数,YOLOv5会产生9种不同大小的先验框,对应不同尺寸的特征,为每种尺寸的特征图产生3个先验框。1为边界框的置信度,其包含两个方面:(1)该边界框含有目标的可能性大小,记为p.(object),当该边界框为背景时(即不包含目标),p,(object)=0,当该边界框包含目标时,p,(object)=1。(2)该边界框的准确度,可以用预测框与实际框(groun

19、dtruth)的交并比(intersection over union,I O U)进行表征,记为1OUm。因此,置信度的定义可如公式(1)所示。Tout p,(objct)上述各概率值是在各个边界框置信度下的条件概率,即P,(class;|object)。先验框类别置信度为类别概率与边界框置信度的乘积,其既预测了锚框属于某一类的类别,又包含了锚框的准确度,计算公式如公式(2)所示。P,(class,object)IOU mut p,(object)对于尺寸为6 40,6 40 的图片,经YOLOv5后输出(2 0 2 0+40 40+8 0 8 0)3=2 5 2 0 0 个先验框。这些先验

20、框存在大量余,需要通过非极大值抑制的方法进行筛选,即首先从所有的先验框中找到置信度最大者,逐个计算其与剩余框的交并比,若此比值大于设定阈值,代表重合度过高,那么将该框剔除,然后对剩余的检测框重复上述过程,直至处理完所有的检测框。经过上述所有步骤后,进行反复迭代计算预测框与真实框的LOSS。当LOSS值最小时,输出值为最优的坐标偏移值、置信度得分和类别概率,然后使用最优的坐标偏移值调整先验框的位置,使之与真实框无限接近。YOLOv5的损失函数包括坐标偏移量损失、置信度损失和类别概率损失。置信度和类别概率损失采用的是二进制交叉损失函数(公式(3)),坐标偏移量损失采用的是GIoU损失(公式(4))

21、。张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用21LOSS=-(y-log()+(1-y):log(1-)(3)其中,为模型预测样本是正例的概率;为样本标签,若样本属于正例,那么取值为1,否则取值为0。LGlou=1-IOU(A,B)+|C-AU Bl/Cl其中,A为预测框;B为真实框;C为A和B的最小包围框。3训练数据集及训练环境训练数据集是基于北京旷视科技有限公司发布的CrowdHuman、网络搜集和手机拍摄创建。(1)CrowdHuman数据集是旷世科技发布的用于行人检测的数据集,图片数据大多来自Google搜索,共计19 47 0 张,每张图片中的人类都用头部边界框和人体

22、全身边界框进行标注。对于CrowdHuman数据集,首先将其标注文件格式转化为YOLO格式,即用文本文件保存标注信息,(2)文件第1列数字为目标类别,第2 5 列为标注目标的位置信息,且数值全部归一化处理,将人体全身边界框的标注信息删除,仅保留人类头部的标注信息。在CrowdHuman数据集中,人类实例多为西方人,且图片多经过美化加工,考虑到数据集分布的均衡性,本实验使用网络搜集和手机拍摄的方法获取30 0 0 张东方人图片,不进行任何处理,并在数据集中加入少量不包含目标的背景图片,便于模型的学习,降低误检率。本文采用半自动的方式对搜集和拍摄的图片进行标注,首先在CrowdHuman数据集上使

23、用YOLOv5s模型进行预训练,然后在收集与拍摄的图片上进行推理,记录并保存推理结果,使用labellmg标注工具进行微调,该方法大大缩短了数据集标注的时间。本文研究方案在原有CrowdHuman数据集基础上创建包含2 2 47 0 张图片的数据集,以满足目标检测网络的训练要求。表1为数据集中训练样(4)22本的具体分类情况,数据集被分为训练集、验证集和测试集。另外,在训练过程中,每次迭代结束后均会对当前训练结果进行反馈,以防止过拟合情况。网络训练实验环境使用Ubuntu18.04操作系统,选用Pytorch框架搭建目标检测网络,使用TeslaV100的显卡进行加速运算,具体实验配置如表2 所

24、示。表1安全帽检测数据集划分Table 1 The data sets of the safety helmet detection数据集类型总数据集训练集验证集测试集表2 实验环境参数Table 2 Details of the experiment environment配置参数CPUIntel(R)Xeon(R)Gold 6254 CPU 3.10 GHzGPU系统环境语言加速环境4车轻量化设计及性能优化4.1重新设计深度系数本研究选择不同的深度系数进行试验,分析Table 3 The experiment results of with the re-designed model an

25、d parameters平均精度每秒处理顿数mAP(%)FPS(顿/s)YOLOv5s79.88YOLOv5-0.4579.67YOLOv5-0.4079.53YOLOv5-0.3578.21YOLOv5-0.3077.07YOLOv5n75.70集成技术深度系数与mAP、浮点数计算量和模型参数之间的关系,部分实验结果如表3所示。由表3可知,与深度系数为0.5 0(YOLOv5s)的模型相比,当深度系数重新设计为0.2 5(YOLOv5n)时,虽然模型参数和浮点数计算量大幅下降,但是主要性能评价指标mAP也出现较大幅度的下降。当深度系数为0.40 时,模型参数和浮点数计算量有大幅下降的同时,m

26、AP并未出现较大幅度的下降。因此,本实验将YOLOv5的深度系数重新设计为0.40,后续对特征提取网络、推理网络的修改和对模型整体的稀数量(张)22.47013.48267412.247TeslaV100Ubuntu18.04Python3.8CUDA10.2表3重新设计模型深度系数实验结果精准率(%)召回率(%)686.46686.518086.18886.52886.07985.162023年疏化训练、模型剪枝均基于此模型。4.2重重构特征提取网络针对特征提取网络在进行特征提取时存在大量允余的问题,本实验以YOLOv5-0.40检测网络为基础,使用GhostNet模型中“幻影卷积(Ghos

27、tConv)”设计的GhostBottleneck 模块2 0 和MobileNetV3网络模型中的“倒残差模块(InvertedResidual)”2 11,分别对特征提取网络进行重构,并通过实验进行性能对比,选择最优重构方案。GhostNet是华为诺亚方舟实验室提出的新型端侧神经网络架构,其提出者认为提取的特征中一般含有大量几余特征图,以保证对输入数据有详细的特征理解。且在特征提取的过程中,仅部分特征图通过卷积操作得到,对于穴余的特征图可通过更简单的线性变换得到。因此,GhostNet每秒十亿次浮点运算数模型参数存储大小GFLOPS(十亿次/s)(MB)72.1616.571.8913.8

28、71.5011.170.078.668.986.567.764.213.611.39.167.135.413.654期张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用23(普通卷积提取的特征图DW卷积提取普通卷积特征图特征图图1 GhostConv结构图Fig.1 Diagram of the GhostConv输入3通道线性变换卷积核*3的特征图输出3通道图2 深度卷积网络结构Fig.2 The structure of the depthwise convolution neural network的作者提出了GhostConv,其网络结构如图1所示。首先通过普通卷积操作提取一部

29、分特征图,然后对特征图进行线性变换,最后经过普通卷积和线性变换得到两部分特征图,并在通道维度上进行组合,得到最终的特征图。MobileNetV3是Google提出的轻量化网络模型,相较于MobileNetV2加入了注意力机制,更新了激活函数,使用h一swishx函数作为网络的激活函数,重新对耗时层结构进行设计,将第1层卷积的卷积核个数减少至16 个。在分类任务上,与MobileNetV2相比,MobileNetV3-Small的分类精度提高了3.2%,推理时间降低了15%;M o b i le Ne t V 3-La r g e 分类精度提高4.6%,推理时间降低5%。此外,以MobileNe

30、tV3-Large和MobileNetV2作为主干网络的两种目标检测算法,在COCO检测数据集上分别运行。结果表明,两种算法的检测精度相同,但是以MobileNetV3-Large为主干网络的算法推理速度较MobileNetV2加快了2 5%,同时在分割算法上也更优2 。使用MobileNetV3主模块(InvertedResidual)重构特征提取网络的目标检测模型为YOLOv5s-MobileNetV3,其中,深度卷积(depthwiseconvolution,D W Co n v)的网络结构如图2 所示,重构后的特征提取网络结构图如图3所示。使用GhostConv设计GhostBottl

31、eneck模块,网络结构如图4所示,采用两种方案基于其重构特征提取网络:(1)方案一如图5(a)所示,将其命名为YOLOv5s-Ghost,该方案使用GhostBottleneck模块替换原始特征提取网络中大部分的C3模块,输入端卷积层保持不变,将其余卷积层改为图6 所示结构的深度可分卷积24集成技术InvertedResidual2023年1X1 Conv,NLNL:非线性激活函数FC:全连接层3X3DWConVNL1X1Conv,NLPoolFCReLuFCReLu注意力机制输入图片ConvInvertedResidualInvertedResidualInvertedResidualIn

32、vertedResidualInvertedResidualInvertedResidualInvertedResidualInvertedResidualInvertedResidualInvertedResidualInvertedResidual推理网络图3YOLOv5s-MobileNetV3特征提取网络结构Fig.3 The feature extraction structure of the YOLOv5s-MobileNetV3(depthwise separable convolution,D SCo n v),以减小模型的参数;(2)方案二如图5(b)所示,将其命名为YOL

33、Ov5s-Ghost-SE,在该方案中,GhostBottleneck模块的部署与方案一大致相同,但此方案没有使用深度可分卷积,而是将原始特征提取网络结构中间部分的两个卷积层使用GhostBottleneck模块代替,并加入注意力机制。表4为YOLOv5s-MobileNetV3、YO LO v 5 s-输入通道输出通道卷积核大小31616161624242424404040404040484848489696969696Ghost和YOLOv5s-Ghost-SE在人类头部数据集上经10 0 次迭代后的各项评估指标。由表4可知,InvertedResidual模块和GhostBottlene

34、ck模块重构特征提取网络都可使得模型参数和浮点数计算量大幅减小,但与原始模型相比,YOLOv5s-MobileNetV3的FPS较小,即推理速度较慢,YOLOv5s-Ghost-SE的mAP下降幅度较大,YOLOv5s-Ghost的模型参数和计算量大幅下降,步长3232313252515151515151514期张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用25GhostConvDWConvGhostConv相加DWConvConv图4GhostBottleneck模块网络结构Fig.4 Structure of the GhostBottleneck module输入图片输入图片

35、输入通道输出通道卷积核大小步长Conv3DSConv64128DSConv128GhostBottleneck256DSConv256GhostBottleneck512DSConv512GhostBottleneck1024SPPF1024输入通道 输出通道卷积核大小步长Focus3Conv646461283128325632563512351231024310241024641282GhostBottleneck2GhostBottleneck1GhostBottleneck2:1GhostBottleneck2GhostBottleneck1SELayer2ConvSPP31331281

36、28128256256256SELayer2562565125125121024SELayer1024GhostBottleneck102412313231256512512512102410241024102433332121方案一(a)YOLOv5s-Ghost图5 YOLOv5s-Ghost与YOLOv5s-Ghost-SE网络结构Fig.5 The structures of the YOLOv5s-Ghost and YOLOv5s-Ghost-SE方案二(b)YOLOv5s-Ghost-SE26集成技术2023年输入3通道卷积核*31X1卷积核输出图6 深度可分离卷积网络结构Fig

37、.6 Structure of the depthwise separable CNN表4不同特征提取网络目标检测算法性能Table 4 The performance comparison with different feature extraction networks平均精度mAP(%)YOLOv5s79.88YOLOv5-0.4079.53YOLOv5s-MobileNetV378.14YOLOv5s-Ghost78.42YOLOv5s-Ghost-SE61.72Table5The performance comparison with different modified infe

38、rence networks平均精度每秒处理顿数精准率(%)mAP(%)FPS(顿/s)YOLOv5s-MobileNetV372.25YOLOv5s-Ghost78.16YOLOv5n75.70YOLOv5s-Ghost-SE57.26检测精度仅小幅下降,且模型推理速度也有所提高。4.3重构推理网络进一步对推理网络进行轻量化设计。与重构特征提取网络相同,使用深度可分离卷积替换原始推理网络中的普通卷积操作,使用GhostBottleneck模块替换原始推理网络中的C3模块,将重构后的推理网络结合上述3种不同特征提取网络进行实验分析,且不再进行重命名,每秒处理顿数FPS(顿/s)68498表5

39、重构推理网络后的性能指标召回率(%)747.571285.50985.16681.22每秒十亿次浮点运算数精准率(%)召回率(%)86.4672.1686.1871.5086.0270.0386.1570.3583.2556.1475.8370.1267.7652.19重构推理网络后的各项性能指标如表5 所示。由表5 可知,重构推理网络后,与原始网络YOLOv5s相比,YOLOv5s-MobileNetV3的mAP下降了7.6 3%,推理速度仅提高了一帧;重构推理网络后的YOLOv5s-Ghost-SE虽然精准率较高,但mAP较原始网络YOLOv5s下降了22.62%,推理速度较表4并未增加;

40、YOLOv5s-Ghost的检测精度相较于原始网络略微下降,但浮点数压缩为原来的2.2 2 倍,模型大小压缩模型参数存储大小GFLOPS(十亿次/s)(MB)16.513.611.19.167.16.76.15.46.96.1每秒十亿次浮点运算数模型参数存储大小GFLOPS(十亿次/s)(MB)5.93.643.42.374.23.654.52.944期为原来的2.6 倍,是3 种设计方案中最小的。此外,YOLOv5s-Ghost将相同CPU上的推理速度提升为原来的两倍,又因为网络结构的轻量化,在相同平台、数据集和训练参数下,YOLOv5s-Ghost的训练时长小于原始网络,各个性能指标均优于

41、YOLOv5n。经实验分析,确定YOLOv5s-Ghost为最优重构方案。YOLOv5s-Ghost 将 GhostBottleneck模块与DSConv相结合,重构YOLOv5s网络结构。使用GhostBottleneck模块替换原始网络中大部分的C3模块,输入端卷积层保持不变,将其余卷积层改为DSConv,大大降低了模型的浮点数计算量,减小了模型的体积,且保证了模型的检测性能。4.4算算法性能优化针对无人机采集的图像中目标占比较小、识别准确率差的问题,本实验对网络的SPP结构进行改进。原始的SPP结构通过3 个池化窗口进行池化,然后在通道的维度上进行合并,如图7 所示。W:(256X512

42、X1X1)B:(256)LeakyReLuMaxMaxPoolingPooling5X59X9ConcatConvW:(512X1024X1X1)B:(512)LeakyReLu图7 原始SPP结构Fig.7The original structure of the SPP为增加感受野,使得网络对小目标的检测效果良好,本研究增加3 3 和7 X7两个池化窗口,改进后的网络结构如图8 所示。为保证SPP模块的输出与CSP模块的兼容性,本研究张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用ConvW:(256X512X1X1)B:(256)LeakyReLu山MaxMaxPoolingP

43、ooling3X35X5ConcatConvW:(512X1536X1X1)B:(512)LeakyReLu图8 改进后的SPP结构Fig.8The improved structure of the SPP目前,对于安全帽检测的研究大多针对网络结构进行改进,对于推理时图像预处理的研究较少。由于光照对图像影响较大,所以本研究在图像采集时对图像进行直方图均衡化处理,以降低Conv光照对图像的影响。为提高目标检测模型对安全帽的检测准确性,本文使用CIoU损失参数替换GIoU损失参数(如公式(5)所示),另外还使用Focalloss替MaxPooling131327将SPP模块中的第2 个卷积层的权

44、重矩阵参数由(512X1024X1X1)改为(512 X1536X1 1)。MaxPoolingPooling7X79X9换二进制交叉熵损失参数。Kaiming 等 2 3 针对样本类别不均衡会导致准确率下降的问题,提出了Focal loss损失函数(公式(7)),该损失函数是根据标准交叉熵损失改进而来。通过减少易分类样本的权重,使模型在训练时更专注于难分类样本。Lclou=1-IOU(A,B)+(1-IOU(A,B)+v)其中,Distance_2为两个框中心点的欧氏距离;Distance_C为两个框最小外接矩形的对角线长度;为衡量长宽比一致性的参数,其定义如公MaxDistance_ 22

45、Distance_ c?2MaxPooling1313(5)28式(6)所示。4(arctanhgt2元2其中,w为真实框的宽;ht为真实框的长;wp为预测框的宽;hP为预测框的长。-(1-yl)log y,y=1Lf-(1-)og(1-yl),y=0其中,为网络输出的类别概率值;J为真实标签;为调节简单样本权重降低的速率,当为0时,公式(7)即为交叉熵损失函数,当增加时,调整因子的影响也增加;为平衡因子,用以平衡正负样本本身的比例不均。使用DIOU_NMS替换YOLOv5原有的NMS,使得网络在目标重叠时仍然可以具有较好的检测效果。5真实场景测试自行搭建无人机平台,使用PX4开源飞控,搭载相

46、机云台捕获施工工地图像信息并传输至计集成技术算机进行处理。无人机可实现一键起飞、定点巡航、自动返航功能 2 4-2 5。无人机图片如图9所arctan(6)hp(7)2023年示,具体硬件配置如表6 所示。表6 无人机参数配置表Table 6Details of the applied UA V system参数控制器固件地面站数据传输模块GPS电池相机分别使用本研究设计的轻量化安全帽检测算法和原始YOLOv5,对无人机采集的图像信息进行检测,检测结果如图10 所示。由图10 可知,轻量化后的网络模型检测效果良好,与原始网络基本保持同一水平,但模型计算量和参数量远小于原始模型,相同CPU检测速

47、度较原始模型提高了6 顿,验证了本研究设计的轻量化智能目标检测的有效性和通用性。配置PixHawk 4PX4 1.11.0rcQGroundControl V3.5.6HolybroTelemetry Radio433MHz 100mWM8N格氏GS-00mAh-30C-4SIP飞萤8 SE图9无人机细节展示Fig.9 Details of the applied UAV4期张传深,等:基于巡逻无人机的轻量型安全帽佩戴检测方法与应用29hathgt.0.80hot0.77hato.&hat-o.71(a)YOLOv5检测无人机拍摄图像patO.79.73hat.0.72hato.5ha

48、t0.49(b)YOLOv5s-Ghost检测无人机拍摄图像图10 无人机实际量测图及采用不同方法获得的检测结果Fig.10 The results of practical measurements from a UAV using different detection method6结论本文结合目标检测算法与无人机技术,提出了基于巡逻无人机的轻量型安全帽佩戴检测方法,可对工人安全帽佩戴情况进行实时、自动、全方位的检测,解决了固定摄像头和人工巡逻所带来的监控区域固定、成本高、效率低的问题。通过实验验证,该系统定点飞行、一键起飞、自动返航功能效果稳定,图像与数据传输稳定,改进后的算法检测精度评估指标mAP与YOLOv5s并无较大差别(仅下降1.72%),各项功能均达到预期效果,并在当地多个建筑工地进行测试使用。但由于时间和精力的限制,该系统也存在一些不足,如对轻量30化目标检测模型,可以直接使用树莓派或工控机等设备在无人机上进行处理,仅将检测结果传回地面站计算机。此外

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 学术论文 > 论文指导/设计

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服