面向复杂场景的基于改进YOLOX_s的安全帽检测算法.pdf

第 卷第 期 年 月南京师大学报(自然科学版)()收稿日期:.基金项目:国家重点研发计划项目()、山西省基础研究计划项目()、山西省重点研发计划项目()、山西省重点研发计划项目().通讯作者:杨乐博士副教授研究方向:计算机视觉、图像处理和三维显示.:.:./.面向复杂场景的基于改进 的安全帽检测算法江新玲杨 乐朱家辉陶 磊刘 峰段倩倩(.太原理工大学信息与计算机学院山西 晋中)(.中国煤炭工业协会北京)摘要 在工业生产过程中安全帽是生产工人重要的安全保护工具.针对现有安全帽检测算法在复杂应用场景下对小目标、密集目标以及遮挡目标存在漏检、检测精度较低等问题提出了一种基于 的改进算法.首先通过改进 算法的模型结构在原有网络结构的基础上新设立了一个预测特征层其尺寸为 该预测特征层通过将高层语义信息和低层传递的位置信息进行有效融合来预测小目标其次针对复杂的安全帽检测环境将 的 改为 即用 来训练 分支来降低漏检最后将 中的残差块改为 基本单元以缩减参数量.改进后的算法 和 分别提高了.和.参数量缩减为.改进后的算法有效降低了复杂环境下安全帽的漏检率和提高了检测精度对实际生产过程中保障企业和工人的生命财产安全起到了一定的促进作用.关键词 安全帽检测遮挡目标小目标密集目标中图分类号 文献标志码 文章编号()(.)(.):.:随着科技的快速进步以及经济的飞速发展安全帽佩戴检测在智能视频监控领域应用广泛.在特定作业区域里高空坠物有时会伤及工作人员因此任何进入这些特定工作区域的人员都应该正确佩戴安全南京师大学报(自然科学版)第 卷第 期(年)帽以防止发生意外正确佩戴安全帽是保障工人和企业生命、财产安全的重要安全措施.然而在作业现场的安全管理中存在着许多问题.首先对于施工人员安全教育的全面覆盖是困难的某些施工人员风险意识低不按要求佩戴安全帽其次由于作业环境复杂、作业现场分布广、作业地点多.实现对生产现场的全方位、实时的监督管理困难最后大多数企业和监管部门仍然依靠专人监管施工人员是否戴安全帽人工监管效率较低实时性差.在安全帽佩戴检测问题上计算机视觉技术可以在有效监管的同时大大降低人工成本.安全帽检测主要分为传统的方法和基于深度学习的目标检测算法.基于前者 等提出了一种基于改进 变换的 监控系统安全帽检测算法由于安全帽的轮廓是一个圆弧当检测到 监控视频画面中存在圆弧且圆弧半径大于某个阈值时则认为检测到安全帽.等提出了一种结合机器学习和图像处理的视频序列安全帽检测方法该方法主要包含三部分:第一部分是基于类 特征的人脸检测在此阶段检测所有可能的人脸区域.第二部分是运动和颜色过滤.在人脸检测之前首先检测视频序列中的运动.如果视频中没有运动或几乎没有运动就不进行任何操作.如果存在运动则获取运动区域并仅对这些区域进行人脸检测以避免扫描整个图像.这可以节省计算时间并消除后台的假警报.人脸检测后可能仍然会有一些人脸的假警报使用面部肤色过滤掉非面部块来消除假警报.第三部分是安全帽颜色检测若人脸正上方区域的颜色与安全帽的颜色相似就认为佩戴了安全帽.等介绍了一种摩托车安全帽检测的机器视觉技术先用背景减法提取出运动对象然后用()将提取的运动对象分为摩托车或其他对象.为了减少计算量作者仅处理摄像头范围内出现摩托车的一个实例而非处理摄像头拍摄的所有图像帧并从该实例的上部统计骑手头的个数然后将头部进行分类分为佩戴头盔和未佩戴头盔的该系统的检测率为 有效减轻了警务执法的工作量.然而以上传统的目标检测算法大多计算量大难以部署在移动端实现实时检测.基于深度学习的目标检测算法主要分为两阶段()算法和一阶段()算法.前者首先利用()网络生成感兴趣区域()然后再把生成的区域进行分类最后完成物体的检测这种方法显著提升了检测精度但也限制了检测速度其代表算法有()()()等.后者代表算法有()和()系列.算法利用多层特征信息并使用固定框进行区域生成.算法使用一阶网络直接完成了物体检测速度很快.系列包含 以及 等 个版本.等提出一种基于 改进版的算法用来解决数据集不平衡的问题使用高斯模糊方法来处理不平衡数据集:图像上的每个点的像素取其周围点像素的平均值使像素值更加平滑图像更加模糊.该算法比直接使用 算法提升了 同时提高了小头盔的召回率和大头盔的定位准确率.等提出了一种基于改进 的安全帽检测方法.通过采集自制的施工现场视频数据集利用 算法对数据集进行聚类得到合适的先验框尺寸获得更有针对性的边缘信息.随后在网络训练过程中采用多尺度训练策略以提高模型在不同检测尺度下的适应性.实验结果表明在安全帽佩戴检测任务中模型 达到.检测速度达到/与原 算法相比其检测精度和检测速度都有所提高能够满足安全帽检测任务的实时性要求.等在 的基础上进行改进利用新添加的功能检测模块解决了小目标难以检测的问题同时使用 代替 使边界框预测得更加准确这些改进措施使得改进后的算法比原 算法具有更高的检测精度检测速度可达到/有效改善了安全帽检测过程中时效性差、漏检问题的现状.作为目前性能最佳的目标检测算法尚未发现其被应用于安全帽检测任务当中.针对复杂环境中小目标、密集目标以及遮挡目标的安全帽检测应用本文提出一种基于改进 的算法改进点主要体现在三方面:首先由于现有算法在小目标检测上仍存在漏检等问题因此在原算法的基础上新增加一个预测特征层新增的预测特征层更加适合预测小目标其次用 来训练 分支以优化对复杂环境中密集目标、遮挡目标的识别准确度和降低漏检率最后将 中的残差块改为 基本单元以缩减参数量在保证检测精度的前提下提高检测效率.江新玲等:面向复杂场景的基于改进 的安全帽检测算法 算法框架.改进后的 算法框架作为目前性能最好的算法 算法已经应用于各种目标检测任务.为了使 算法更好地应用于环境复杂的安全帽检测任务本文对原有算法进行了如下改进:()在原有算法的基础上新添加一个预测特征层用来预测由于遮挡或距离远而难以检测的小目标()使用 替代 的()将 中的残差块改为 基本单元以缩减参数量.改进后的算法结构如图 所示.图 改进后的 算法框架 图 所示算法结构主要分为 个部分分别是、以及 部分.输入尺寸为图片大小默认为 为 颜色三通道.部分由基本的()单元、结构、()结构以及()结构组成.是一种切片操作具体做法是对输入的一张图片每隔一个像素取一个值一张图片经 操作后可以得到 张图片.然后骨干网络对得到的新图像进行卷积运算以降低原有图像主要特征的丧失程度.结构主要分为两种:和 前者带有残差块而后者没有.结构不仅可以有效防止梯度消失还能提取到更多的细粒度特征.结构显著增加了网络的感受野可以关注到不同尺度的特征.部分由()和()两种结构组成 采取自顶向下上采样的方式向下传递强大的语义信息而 则相反采取自底向上下采样的方式向上传递强大的位置信息 和 一起将网络获取的语义信息和位置信息高效融合在一南京师大学报(自然科学版)第 卷第 期(年)起有效提高了网络的分类和定位能力.部分也叫解耦头部分使用解耦头可以有效提高网络的收敛速度和检测精度.本文使用的最终输出预测特征层尺寸分别为:、如图中 部分所示这里的、是指预测特征层的高和宽 是通道数分别指 个类别信息 个置信度信息 个位置参数信息.中的残差块结构如图 所示输入的特征经 基本单元进行卷积操作再与输入进行逐点相加操作.本文将残差块修改为 基本单元结构如图 所示输入特征一方面经深度可分离卷积和 单元计算另一方面通过 单元提取特征最后两分支通过通道拼接操作并经通道混洗进行通道间信息沟通.修改后的结构避免了大量的逐点相加操作降低了模型参数量同时提升了模型训练速度.由于安全帽检测环境较为复杂存在大量难样本容易造成漏检本文应用 来调节难易样本公式如下:()()()()()()式中 代表样本标签 代表样本标签 即预测为正样本时的预测概率 是一个聚焦因子.对于该损失函数有如下特性:()引入()来调节简单样本与难样本的权重.当边框被错误分类时较小则调制因子()接近于 其损失几乎不受影响当 越接近于 表明其分类预测越好样本越简单调制因子()越接近于 损失越小.()引入聚焦因子 越大当 也越大即样本越简单时则()越接近于 简单样本的损失贡献占比会越低因此模型更容易集中在难样本上.图 残差单元结构 图 基本单元结构 .数据集与实验环境配置本文使用的数据集通过网络爬虫获取一共 张含有未佩戴安全帽的人和佩戴安全帽的人的图片如图 所示.数据集被划分为 部分划分比例约为 分别是训练集、验证集和测试集.训练过程表 实验环境配置 ()().中使用了随机翻转、亮度改变等数据增强手段.数据集包括两类:“”类和“”类.“”类代表未佩戴安全帽的人“”类代表佩戴了安全帽的人.数据集通过 工具标记被标记的文件后缀为 格式为 文件与被标记图片具有相同名称.本实验使用 框架搭建网络模型使用的实验环境配置如表.结果和分析.改进后的 算法的表现改进后的 算法的训练过程如图 所示损失曲线在 左右趋于收敛虽然前期验证集的损失波动较剧烈但是在训练后期训练集的损失和验证集的损失非常接近验证集的损失只比训练集的损失高一点表明修改后的模型结构是合理的不存在过拟合或者欠拟合现象.训练的相关细节信息有:一共训练了 训练之前在 数据集上预训练过正式训练的初始学习率为 学习率下降策略江新玲等:面向复杂场景的基于改进 的安全帽检测算法图 训练中使用的图片样本 图 改进后的 训练过程 为 为 优化器为.改进前和改进后的检测结果如图 所示检测结果中不易查看的目标均用红色矩形框标出进行提示小目标的对比检测结果被放大置于对应图片的左下方.从第组可以看出检测环境比较复杂图中的背景和前景光照差别非常大且局部存在曝光严重以及被检测对象之间出现严重相互遮挡的问题.改进前左侧佩戴黄色安全帽的人并未被检测出来且左侧未佩戴安全帽的人也存在漏检改进算法后这些目标均能够正确被检测到.在第组中对于上方的小目标前三种算法检测结果或是出现漏检或是出现误检而改进后的 算法并未出现这些问题且检测精度均高于前三者.在第组中目标较为密集且整体目标尺寸非常小对于不同的小目标前三种检测算法均出现不同程度的漏检且对于矩形框中提示的极小目标前三种算法均未检测到而改进后的算法没有出现漏检现象.在第组中背景干扰较为严重前三种算法均未检测出后方的小目标而改进后的算法可以将其准确定位出来且前方的大目标的检测精度远远超过前三种算法.在第组中前三种算法均出现不同程度的误检将未被佩戴的安全帽识别为正确佩戴安全帽的人这显然是误检且左侧的女性目标甚至对应多个检测结果而改进后的算法不存在这些问题.在第组中后方的小目标的检测结果出现和第组相似的问题但是均能被改进后的算法很好地解决且检测精度更高.上述检测结果验证了改进后的算法能够有效解决复杂背景下的小目标检测问题.与其他算法比较为了验证改进后的 算法的有效性本节评估了安全帽数据集上的、以及改进的 算法.以()、参数量和()作为评价指标.各评价指标的公式如下:()南京师大学报(自然科学版)第 卷第 期(年)图 基于改进 的安全帽识别结果 ()()式中()代表正确检测框:预测框正确地与标签框匹配了两者间的()大于设定的阈值.()代表误检框:将背景检测成了物体.()代表漏检框:应检测出的物体却未被检测出来.()指准确率即正确预测框数量与当前遍历过的预测框数量的比值.()指召回率即当前一共检测出的标签框数量与所有标签框数量的比值.当遍历到一个预测框时都可以生成一个对应的 与 这两个值可以组成一个点()利用这些点绘制成曲线即形成了 曲线()即表示 曲线与两坐标轴所围成的面积.每个类别的 是相互独立的将所有类别的 求平均值即可得到.江新玲等:面向复杂场景的基于改进 的安全帽检测算法表 不同模型检测结果 /.从表 中可以看出改进后的 算法的 为.相比于改进前有.的提升 为.比改进前提升了.改进后的算法的 和 两项评估指标均是 种算法中最高的可见改进后的算法具有更好的有效性.改进前 算法的参数量为.改进后参数量缩减为.有效改善了由于增加小目标预测特征层而带来的参数增加的问题.缩减参数量后原 算法的 为./改进后为./二者相近可以满足实时检测的要求可见本文对原 算法的改进是有效的.消融实验表 不同模块的功能效果 预测特征层/./.本文在整体实验的基础上继续做了独立的消融实验以验证新添加的 预测特征层以及新的误差函数 的有效性结果如表 所示.表 中打了“”的表示添加了左侧对应的模块从表 中可以看出仅仅添加 预测特征层改进后的算法的 和 分别为.和.较改进前的.和.分别提升了.和.仅仅更换新的误差函数 改进后的算法的 和 分别为.和.较改进前的.和.分别提升了.和.而同时添加 预测特征层和更换新的误差函数 改进后的算法的 和 分别为.和.较改进前的.和.分别提升了.和.由此可见改进后的算法中新添加的 预测特征层以及更换新的误差函数 的做法是有效的.结论由于目标聚集光照、距离等因素造成安全帽检测环境较为复杂在这种复杂的环境下容易造成漏检严重针对在此复杂环境下现有算法无法解决漏检以及检测精度较低的问题本文提出改进版本的 算法改进后的算法在原有算法的基础上新增加了一个更大尺度的预测特征层用来检测小目标并用新的误差函数 来训练 分支以降低漏检同时将 中的残差块改为 基本单元以缩减参数量.改进后的算法无论是从视觉效果上还是从测试指标上均较改进前有所提升.且通过与、算法比较改进后的 算法的 和 分别为.和.较改进前的算法分别提升了.和.改进后的参数量从.降到.而检测速率并未受到较大影响仍可以满足实时检测.实验表明改进后的 算法能有效解决复杂环境下的安全帽漏检严重的问题.参考文献 .():./:./:.:.:.():.南京师大学报(自然科学版)第 卷第 期(年)./:./():.:.():.:.:.:/():.:.:.:.:.()():.:.:.:/():.:/.().:/././.:/.().:/./././:.:/.().:/./././():./():./():.责任编辑:陆炳新