基于改进YOLOv5s的头盔佩戴检测算法.pdf

第卷 第期 年 月沈 阳 理 工 大 学 学 报 收稿日期:基金项目:辽宁省教育厅高等学校基本科研项目()作者简介:陈扬()女硕士研究生通信作者:吕艳辉()女教授博士研究方向为计算机视觉、人工智能文章编号:()基于改进 的头盔佩戴检测算法陈 扬吕艳辉(沈阳理工大学 信息科学与工程学院沈阳)摘 要:交通法规规定电动车驾驶人驾车时需要佩戴安全头盔常用检测算法针对安全头盔这类小目标进行检测时存在漏检的问题 鉴于此提出一种基于改进 的电动车驾驶人头盔佩戴检测算法简称为 算法 该算法以深度学习框架 为基础改进原始模型特征提取部分的下采样方法和特征融合方法并修改边框损失函数 的计算方法 通过多场景下数据采集获得 张图片以制作安全头盔数据集并在自制数据集上采用 算法及其他主流算法进行小目标检测的对比实验 实验结果表明:与 算法相比 算法在准确率、召回率、平均精度三个方面分别提升.、.、.检测速度能够达到实时检测要求关 键 词:目标检测特征提取特征融合中图分类号:.文献标志码:./.():.:目标检测技术在军事、交通、医学、生物学等领域具有广泛的应用价值推动了社会的进步为人们生活提供了便利近些年随着电动车销量的不断增多与电动车相关的交通事故也在增多 很多电动车驾驶人没有安全意识不佩戴安全头盔 国内已有多个城市相继颁布电动车驾驶人需要佩戴安全头盔的交通法规以减少发生交通意外时的人员伤亡本文拟对电动车驾驶人是否佩戴安全头盔进行检测并在公共场所自行采集数据制作数据集此背景下构建的数据集中会存在相当多的小目标容易出现漏检的情况 另外本文研究内容的应用场所人员变动较快算法应具备实时检测的能力一张图片中宽高占整个图片宽高十分之一以下的物体称为小目标 小目标检测作为目标检测领域内的一个难点受到越来越多研究者的关注文献通过改进数据增强方法平衡了数据类别使用轻量型网络 替换原始主干网络减少了网络计算量最后对模型通道进行剪枝以及知识蒸馏提升了检测速度但检测精度有待提高文献提出一种自适应双向特征融合模块提高对小目标的检测率但采用的损失函数未能考虑数据集分布特点未能解决难易样本不均衡问题文献提出在特征提取网络中融入通道注意力机制以更好地提取小目标特征信息但其通道注意力机制只使用全局平均池化层压缩通道特征对难以区分的物体检测效果较差文献提出基于 的优化算法通过引入感受野模块模拟生物体的感受野机制使网络着重学习位于中心的特征进而取得较好的识别效果然而检测速度有所降低达不到实时检测的效果综上目标检测算法虽然取得了一定的研究成果但也存在一些不足 鉴于此本文提出一种基于改进 的电动车驾驶人头盔佩戴检测算法简称 算法 该算法以深度学习框架 为基础针对其第一步下采样方法可能导致过拟合的问题提出一种新的下采样方法针对原特征融合方法没有考虑不同特征图占有不同的贡献度以及没有对重要特征给予重点关注所导致的检测精度差的问题提出一种改进的特征融合方法针对原算法采用的边框损失函数 在检测框和真实框相交时收敛慢的问题提出适用的边框损失函数计算方法 算法的提出.算法的不足本文选用 中的 作为基础网络在 中图像自适应缩放成 大小的图像后进行特征提取首先进行切片下采样将平面信息转移到通道维度上降低维度增加通道数能够得到两倍下采样特征图 该下采样方法的位置处在特征提取的第一步虽然几乎没有丢失特征但是会学习到大量无用信息可能导致模型出现过拟合现象其次 使用 及 完成图像特征融合 这种特征融合方式能够做到双向特征传递但无法区分不同分辨率特征图的贡献度对于图像中一些重要特征并未给出特别的关注不能将无关噪声和应该重点关注的特征信息区分开导致算法对目标的检测精度较差算法检测效果仍有待提升再次 算法的边框回归损失函数采用 当检测框和真实框相交时无法反映两个框的相交方式即不能衡量两个框相对的位置关系 当预测框与真实框分离且距离较远时产生较大的外接矩形框因损失值较大难以优化导致算法收敛速度慢.算法.下采样方法的提出在 算法中提出一种新的下采样方法能够解决原始 第一步下采样方法的弊端 为后续计算方便对输入的 图像特征矩阵进行 的卷积计算通道数变成 即得到 维度的特征图沈 阳 理 工 大 学 学 报 第 卷再将 进行非线性变换包括归一化操作、激活并进行卷积操作 将这种非线性变换操作作为一个模块共设计五个模块()其中 中进行卷积和平均池化实现下采样 整体下采样方法的非线性变换结构如图 所示图 非线性变换结构图 由图 可知每个模块都会输出一个特征矩阵若输入特征矩阵为 则设 模块的输入特征矩阵分别是 在 模块中经过非线性变换后的特征矩阵与输入特征矩阵 在通道上进行拼接后得到特征矩阵 对 进行非线性变换得到的特征矩阵与 和进行拼接后得到特征矩阵 以此类推最后 模块经过非线性变换后的特征矩阵与之前的 进行拼接得到输出 上述操作的数学表达式为()()式中:表示非线性变换函数对特征矩阵进行非线性变换操作 表示拼接函数实现对特征矩阵进行通道上的拼接 首先对本模块的输入特征矩阵进行非线性变换然后在通道维度上拼接前面所有模块的输入特征矩阵作为下一模块的输入再进行非线性变换 一次拼接一次非线性变换特征图维度大小不变通道数一直增大即做通道间的堆积 非线性变换前后的特征图个数即通道个数 为 ()()式中:表示输入特征图个数 表示模块 表示网络增长率本文中 值取 以输入图像 为例大小为 对其进行非线性变换即进行批标准化、激活以及卷积操作 此处完成两次卷积先进行 卷积卷积后的特征矩阵大小为 再进行批标准化和 激活及 、填充为 的卷积卷积后的特征矩阵大小为 由于批标准化、激活后特征矩阵大小不变所以将所得特征矩阵与 进行通道维度相加得到输出特征矩阵大小为 得到特征图 以此类推可知特征图 的通道数为 的通道数为 的通道数为 和前面四个模块略有不同其内部进行批归一化、激活以及 的卷积最后进行过滤器大小为 、步长为 的平均池化操作最终输出特征图大小为 整个结构完成了两倍的下采样相邻两个模块间都具有极为密切的联系 由于前四个模块中都有 、填充为 的卷积使得输出的特征矩阵维度保持相同以便在通道维度上进行累加 的卷积大大减少了参数使得整个结构具有较高的计算效率综上本文提出的下采样方法采用模块间密集连接的方式保证了浅层目标特征的有效提取同时密集连接方式也提升了整个结构梯度的反向传播使网络更容易训练 最后的平均池化操作实现了下采样能够降低输入特征矩阵维度减少网络模型的参数防止出现过拟合的现象.特征融合方法的提出因为 使用 及 完成特征融合能够做到双向特征传递但无法区分不同分辨率特征图的贡献度 本文所提融合方法先优化特征融合网络结构并赋予特征图权重后再第 期 陈 扬等:基于改进 的头盔佩戴检测算法进行特征融合将 中第五层到第七层的融合改为第三层到第七层进行融合特征融合方法的结构如图 所示图 特征融合方法结构图 图 中每一个节点代表一个特征图 由图 可见因为第三层和第七层的中间特征图只有一个输入没有特征融合对整个特征网络的贡献很小故删除第三层和第七层中间的特征图因为底层特征在经过反复上采样和下采样后可能会失真故在第四 六层中在原有双向融合的基础上同水平层之间引入跳跃连接以强化高层特征层中的细节信息以提高特征融合的效率 图 中仅标明了部分特征图的权重另外向 传递时所占权重为 向 传递时所占权重为、分别向、传递时所占权重分别为、在特征融合过程中考虑到不同分辨率的特征图具有不同的贡献度提出一种自适应权重的特征向量融合方法 通过将不同分辨率的特征图进行上采样或下采样以统一特征图为相同的分辨率后计算各自的权重再进行特征向量的融合其特征向量的融合公式为 ()式中:表示所有特征图融合后的特征向量、表示特征向量序号是正整数和 表示权重 .用于保证数值的稳定性表示输入的特征向量 以图 为例其中第五层的中间特征向量 计算方法为()()式中:表示卷积操作 表示上采样以上的双向自适应加权融合方法从结构上能更充分进行特征信息保留但并未解决 不能对特征图中重要信息给予特别关注的问题为此在第三 七层的卷积层中引入注意力模块包括空间注意力和通道注意力 卷积层中引入注意力机制的结构如图 所示图 卷积层中引入注意力机制结构图 图 中输入特征矩阵在通道注意子模块中分别进行全局最大池化和全局平均池化即取每个特征图中的最大值和平均值分别得到最大合并特征矩阵和平均合并特征矩阵然后输入到共享网络得到通道注意力图 即带有通道注意力权重的特征图 为减小参数量需要通过 函数进行归一化处理然后通过乘法加权到原始输入特征图上得到最终输出上述 的计算公式可表示为()()()()()式中:是输入特征图 表示 函数是组成共享网络的多层感知器 是全局平均池化 是全局最大池化是通道平均合并特征是通道最大合并特征、是两层共享网络在进入空间注意力子模块时同样要进行全局最大池化和全局平均池化将特征维度转变成 经过卷积核为 的卷积和 激活函数以降低特征图的维度再经过一次卷积后提升为原来的维度最后采用 函数进行归一化处理得到的特征图与通道注意图进行合并得到空间注意力图 即注意力模块最终输出的特征图 计算公式可表示为()()()()()式中:是指卷积核为 的卷积操作()是空间平均合并特征()是空间最大合并特征沈 阳 理 工 大 学 学 报 第 卷.边框回归损失函数的提出 算法采用 作为边框回归损失函数其计算公式为 ()()式中:表示预测框表示真实框 表示预测框与真实框最小外接矩形框的面积 当预测框与真实框重合时损失值为 当预测框的边与真实框的边外切时损失值为 当预测框与真实框分离且距离较远时损失值无限趋近于 根据上述计算 反映了真实框与预测框的重合程度和远近距离 但当检测框和真实框相交时无法反应两个框的相交方式 当预测框与真实框分离且距离较远时产生较大的外接矩形框因损失值较大难以优化会导致算法收敛速度慢因此本文将边框回归损失函数计算方法修正为 ()()()()式中:代表修正后边框回归损失()代表预测框中心点 到真实框中心点 欧氏距离的平方为预测框和真实框最小外接矩形框对角线距离的平方为预测框与真实框最小外接矩形框的宽的平方()表示预测框宽的中点 到真实框对应宽的中点 的欧氏距离的平方表示预测框与真实框最小外接矩形框的高的平方()表示预测框高的中点 到真实框对应高的中点 的欧氏距离的平方本文提出的边框回归损失函数的惩罚项有三个分别计算预测框的中心点、宽、高与其最小外接框中心点、宽、高的差值直接回归欧氏距离 其中中心点与最小外接矩形框的惩罚项解决了 在两框距离较远时产生较大的外包框所导致的收敛速度慢的问题宽、高与最小外接矩形框宽、高的惩罚项的使用能够解决 无法反映两个框的相交方式问题且当预测框与真实框在水平方向和垂直方向上存在差异时通过使用宽、高与最小外接矩形框宽、高的惩罚项能够分别在水平和垂直方向上提高收敛速度提升回归精度 实验结果与分析.环境配置本文实验环境在 操作系统下配置安装 用于管理和创建环境在 下搭建 框架加速 编译器选用.版本安装 工具包以提高 的大规模并行计算能力本文实验中对数据的训练需要在带有 的服务器上进行.数据集制作在多个路口、市场、小区等场景下采集数据其中的样本多样安全头盔颜色多样电动车型号、颜色多样 采集数据全部是以拍摄视频的方式获取视频时长几秒到几十秒不等共计约有 个视频 通过在线免费转换器进行图片的提取每秒提取图片数量为 张共计提取图片有 张 剔除掉图像中没有待检测目标或目标特征不明显的无用图片 张以及重复图片 张后共计保留 张 对图片逐张进行标注把电动车和人整体作为目标其中佩戴安全头盔的作为一类命名为 未佩戴安全头盔的作为一类命名为 实验将自制安全头盔数据集随机划分为三部分其中训练集占验证集 占 测 试 集 占 预 训 练 模型权重迭代次数设为 数据集中待检测目标大小不同为保证检测效果 算法将待检测目标分成大、中、小三类尺寸 针对不同尺寸的目标在训练过程中分别设置了与其尺寸对应的预置检测框进行训练且在预测端针对不同尺寸的目标给出对应的输出以提升对不同尺寸目标检测的准确度.实验及对比实验本实验利用召回率()、准确率()、阈值为.的平均精度()作为评价指标)使用 算法在自制安全头盔数据集上进行训练并在验证集上进行验证得出的验证结果如表 所示表 算法实验结果类别验证集.第 期 陈 扬等:基于改进 的头盔佩戴检测算法 表 中类别为 的数据是类别 和 在上述几个评价指标对应数值的平均值 算法在安全头盔数据集上训练时生成的评价指标曲线如图 所示图 算法评价指标曲线图 从图 中可以看出在较少的训练轮数后、值均已达到了 并稳步增长 其中 值相对于其他两个指标达到所需训练轮数更多)进行对比实验 在、三种主流目标检测算法上基于自制安全头盔数据集进行训练并在验证集上进行验证分别得到、速度四个评价指标的实验结果取两个类别 和 评价结果的平均值为最终结果与本文算法 进行性能比较对比实验结果见表 表 各算法实验结果对比算法时间/.由表 可见 算法的、值均为最优 与 相比在、三个方面分别提升了.、.、.算法检测一张图片的时间为.能够满足实时性检测的要求 结论常用图像检测算法针对安全头盔这类小目标可能存在漏检的问题本文基于自制数据集中安全头盔的分布特点使用 作为基础网络改进特征提取中的下采样方法以及特征融合方法修改边框损失函数 计算方法获得改进算法 将 算法在 自 制 数 据 集 上 进 行 实 验 并 且 使 用、三种主流算法进行对比实验 实验结果表明:算法泛化性强对于安全头盔目标较密集情况的检测效果较好相比其他算法具有更高的检测精度检测实时性满足交通领域的应用要求 本文研究的不足在于只针对自制数据集进行验证数据集中样本的多样性和样本均衡性稍差参考文献:韩锟李斯宇肖友刚.施工场景下基于 的安全帽佩戴状态检测.铁道科学与工程学报():.肖进胜张舒豪陈云华等.双向特征融合与特征选择的遥感影像目标检测.电子学报():.王奇靳华中李文萱等.多尺度通道注意力机制的小样本图像分类算法.湖北工业大学学报():.李莉乔璐张浩洋.结合 改进 的肺结节检测算法.计算机应用与软件():.于硕李慧桂方俊等.复杂场景下基于 的口罩佩戴实时检测算法研究.计算机测量与控制():.钱雪李军唐球等.基于 的药品表面缺陷实时检测方法.信息技术与网络安全():.李成.基于改进 的小目标检测算法研究.长江信息通信():.王书坤高林伏德粟等.改进的轻量型 绝沈 阳 理 工 大 学 学 报 第 卷缘子缺陷检测算法研究.湖北民族大学学报(自然科学版)():.叶兴宇.基于深度学习的口罩佩戴检测算法研究.信息与电脑(理论版)():.马琳琳马建新韩佳芳等.基于 目标检测算法的研究.电脑知识与技术():.():.():.兰凌强刘淇缘卢树华.基于注意力机制与特征相关性的人脸表情识别.北京航空航天大学学报():.周永福李文龙胡冉冉.多尺度特征融合的双通道 行人头部检测算法.激光与光电子学进展():.赵振强何水原梁永志.基于 的遥感影像船舶检测识别.测绘通报():.(责任编辑:和晓军)(上接第 页).():./.:.():.():.():.():./.:./.:.:/.:.:/.:.(责任编辑:和晓军)第 期 陈 扬等:基于改进 的头盔佩戴检测算法