基于YOLO v5的工人玩手机行为检测方法研究.pdf

第 卷 第 期 年 月南京工程学院学报(自然科学版)().:./.投稿网址:/.基于 的工人玩手机行为检测方法研究林宝华刘 坤朱一帆王 晓(南京工程学院自动化学院 江苏 南京)摘 要:为规范工人生产行为、减少安全事故发生提出一种监控工人使用手机行为检测算法.该算法以 模型为基础对其网络结构和损失函数进行改进.首先优化主干网络将 和 结构引入浅层网络增加浅层特征的提取然后在主干网络与特征聚合网络之间构建 注意力机制层过滤冗余信息最后选取 损失函数代替 损失函数提高模型收敛速度与检测结果的定位精度.通过自建工人使用手机行为数据集分别对 原模型、改进模型以及主流模型进行对比.试验结果表明在人体和手机目标检测中改进模型有更好的检测精度和检测速度.关键词:行为检测 注意力机制损失函数中图分类号:收稿日期 修回日期 作者简介 林宝华 硕士研究生 研究方向为图像处理、计算机视觉.引文格式 林宝华 刘坤 朱一帆 等.基于 的工人玩手机行为检测方法研究 .南京工程学院学报 自然科学版 .工人在各类操作环境中都有相应的操作行为规范要求正确的操作行为不仅能保证工作效率和产品质量还能避免重大安全事故的发生保障操作人员的生命安全.智能手机作为新时代的产物广泛应用于日常生活和工作中吸引了工人的注意力从而增加了安全隐患发生的概率.为了确保工人在参与生产的过程中能够专心工作减少手机的使用较为常见的做法是在工厂内安装摄像头南京工程学院学报(自然科学版)年 月监控工人的行为由监管人员来监看和提醒.随着社会自动化程度的不断提高使用人力进行行为监督在安全性和高效性上的弊端都愈加明显.由人力监看视频存在反馈周期较长、标准不一致、业务不熟悉等问题并且人力难免会出现疲劳、松懈等情况造成监看疏漏.随着人工智能的发展基于深度学习的检测方法逐渐替代了人力监管成为当下研究热点.文献基于 目标检测算法对视频中的人体与手机信息进行提取联合手机目标直方图分布信息判断在岗员工是否存在玩手机行为文献采用神经网络对课堂视频中的学生与手机目标坐标信息进行回归通过手机目标边界框与学生目标边界框重叠面积来判断学生是否有玩手机行为文献通过图卷积对人物关节点进行特征提取引入 视频背景建模算法完成手部区域的动作判别实现课堂玩手机、拍照、看时间行为的区分 文 献 通 过 增 加 属 性 分 类 器 来 改 进目标检测算法利用行为属性特征实现图像中打电话行为的检测文献 基于 对视频中的行人候选区域进行提取构建 分类网络完成打电话和抽烟行为的分类.这些模型主要应用于成像清晰场景且模型复杂度较高难以满足实时检测的需求.本文应用场景为工厂生产区域的视频监控手机目标相对于整个监控画面占比较小存在分辨率低、检测物体与背景颜色对比度低等问题.针对存在的问题提出改进 目标检测算法用于检测工厂监控视频中是否存在工人使用手机的行为方便管理人员及时处理减少安全事故的发生.模型介绍及改进.算法介绍 系列目标检测算法为单阶段目标检测算法可直接回归输入图像的类别置信度与坐标信息.目前 网络模型有深度与宽度不断递增的 、和 四种版本本文采用的基准模型为 .网络结构可分为主干模块()、特征融合模块()、预测模块()三个部分.模块包含、和 结构主要实现目标特征的提取.结构通过切片操作将平面信息转换到通道维度能很大程度地减少信息损失(见图()结构中使用残差连接缓解深度神经网络中梯度消失问题 结构通过不同大小的池化核进行最大池化提高网络感受野分离出显著的上下文特征(见图().模块采用 与 相结合结构通过下采样、上采样和堆叠操作将主干网络获得的特征反复提取能够获得较强的语义信息和空间信息.模块包含先验框对应的位置、置信度和类别信息用于计算损失函数和预测结果.()结构()结构图 包含结构.网络结构优化.主干网络优化手机目标存在尺寸小、监控视角下成像像素低、细节信息少等问题特征在下采样过程中容易丢失故手机小目标信息主要集中在浅层网络中.为防止手机目标信息流失在主干网络前 个 模块之间引入 结构和 来增加对浅层特征的提取在不过多增加模型复杂度的同时提高小尺寸目标的检测性能.使用现有的结构和方法通过新的架构和优化策略训练模型在 数据集上实现新的准确率.结构示意图如图 所示.第 卷第 期林宝华等:基于 的工人玩手机行为检测方法研究图 结构示意图 包含()卷积、激活函数和 ()模块.传统卷积核的通道数与输入特征的通道数相同而 卷积的卷积核通道数固定为 个即一个通道只被一个卷积核卷积.卷积相比于传统卷积大大减少了运算量和参数的数量控制了模型复杂度的增加.注意力机制工厂内光线偏暗导致目标与背景区分不明显在对人体与手机目标检测过程中易出现漏检、错检问题.视觉注意力机制能够学习到目标特征在特征图中重要程度关系从而增加目标特征在整个特征图中的权重提高检测物体准确率.在 与 之间引入卷积注意力模块()注意力放大主干网络传出的三个特征层中的目标特征权重保证在特征聚合网络中传播的信息更有效.包含通道注意力模块()和空间注意力模块()能够自适应关注目标的通道信息和平面信息.注意力机制模块具体实现过程为(见图):图 注意力机制 )将输入特征图()分别进行 和 维度的全局最大池化()和全局平均池化()得到 个 的特征图将两个特征图送入一个共享权值的双层神经网络()进行通道间依赖关系的学习将 输出的特征进行加和操作由 回归函数实现归一化获得输入特征层通道的权重将权重与输入特征图相乘获得新特征图().)将新特征图()基于 维度进行最大池化和平均池化操作得到 个()的特征图将特征图基于通道维度进行堆叠操作得到()的特征图降维为单通道的特征图()由 回归函数实现归一化生成空间维度的权重将空间维度权重信息与特征图()相乘获得新特征图()此时新特征图 中目标通道信息和平面信息得到放大.改进的 网络模型如图 所示.损失函数优化目标定位使用矩形边界框预测目标在图像中的位置通过计算边界框损失值进行反向传播来优化预测边界框的位置.在 模型中采用 损失函数修正边界框的位置计算公式为:()/()式中:为真实框与预测框的交并比、分别为真实框、预测框区域 为 和 区域的最小外接矩形.由式()可知当预测框在真实框内部时无法预测边界框和真实框的位置关系即出现如图 所示情况时值的大小不变.本文采用 损失函数替代 损失函数作为边界框的损失函数 损失函数包含预测框和真实框的重叠损失、预测框和真实框的中心距离损失、预测框和真实框的宽和高损失三个部分计算公式为:南京工程学院学报(自然科学版)年 月图 改进 网络模型结构图图 预测框与真实框包含情况 ()()()()式中:、分别为预测框和真实框的中心点 为 和 间的欧式距离 为最小外接矩形对角线距离、分别为预测框的宽、高、分别为真实框的宽、高、分别为最小外接矩形宽、高.损失函数考虑了重叠面积、中心点距离、长宽边长真实差比 损失函数检测效果好.试验及结果分析.试验环境及参数设置本试验在 操作系统下进行为 内存为 为 显 存 为 .训 练 环 境 为.、.、.、.等.试验数据集来源于网络爬虫数据与监控画面截取数据共 张图像采用 对图像中的人体和手机目标进行标注.数据集按照 的比例划分为训练集、验证集和测试集训练集中共包括 个工人目标和 个手机目标.利用聚类算法调整预设锚框促进模型检测效果、提高模型在训练过程中的收敛速度调整后的锚框分配见表.设定输入图像尺寸为 分别进行 次冻结训练与 次解冻训练前 个 采用 数据增加方式进行训练后 个 不采用任何数据增强方式进行训练.设置 为使用余弦退火学习率及 优化器进行训练最大学习率为.最小学习率为.表 调整后锚框分配表特征图 锚框尺寸()()()()()()()()().评估指标采用目标检测常用评估指标平均精度均值()和帧率()进行模型评估.、和 的计算公式为:/()/()()()第 卷第 期林宝华等:基于 的工人玩手机行为检测方法研究式中:为正确分类的正样本数 为错误分类的负样本数 为平均精度 为错误分类的正样本数()为以召回率为横坐标、精确率为纵坐标绘制的曲线 为每个类别 的均值.试验结果分析在自建数据集上训练改进模型得到损失函数曲线(见图)和训练集 曲线(见图):当迭代次数接近 次时模型开始逐渐收敛训练集 趋于平稳 最终训练集 损 失 函 数 稳 定 在.验证集损失函数稳定在.训练集 稳定在.图 训练集和验证集损失函数曲线图本研究设计 种模型对不同改进方法进行分图 训练集 曲线图析每种模型使用相同的训练参数进行训练原模型与改进模型关于人体与手机数据集指标对比如表 所示.模型 为对主干网络的改进模型 在基准模型上 提升了.、提升了./模型 在模型 的基础上加入 注意力机制模型 对比模型 有较大的提升且 只降低了./模型 引入 损失函数替代 损失函数作为边界框的损失函数对比模型检测精度提升了.本研究最终模型的试验结果 为.、为./相较于原模型 提升了.检测速度提升了.图 为改进前后的检测效果图.由图 可见改进模型能准确检测出目标位置且提高了置信度.表 种模型各指标试验结果模型 损失函数()/()/().模型.模型.模型.()模型()改进 模型图 原模型与改进模型检测结果对比南京工程学院学报(自然科学版)年 月.不同网络模型对比试验为了检测本文算法对手机与人体目标的检测性能 引 入 、进 行 对 比 试验.对比结果见表.表 不同网络模型对比结果模型()/()/值/().本文算法.由表 可知本文算法 达到.检测精度具有明显优势 仅比最高的 低./.综合检测精度与检测速度本文算法整体性能相比主流模型具有一定优势.结语针对工人异常行为问题本文提出一种改进 网络模型用于检测工人使用手机行为的识别算法.将 卷积模块引入浅层网络以增加对小目标特征的提取然后在主干特征提取网络与特征聚合模块之间引入 混合注意力机制提高对重要特征的关注度并用自建工人与手机目标数据集来训练模型采用 聚类算法重新调整预设锚框引入 损失函数计算样本的定位损失.试验结果表明改进后的模型比原模型 提高.、检测速度提升 能够准确定位视频监控中的手机与人体目标信息.参考文献:傅建中.智能制造装备的发展现状与趋势.机电工程():.何素刚.五大趋势引领“智慧企业”发展.装备制造():.侯景严.基于机器视觉的高危企业生产过程智能监控.西安:长安大学.:/.:.:/./.王京.基于目标检测算法的课堂异常行为识别系统研究.成都:成都理工大学.冯思哲.基于深度卷积神经网络的学生课堂行为识别研究.西安:长安大学.张越.基于深度学习的抽烟与打手机行为检测算法研究.成都:电子科技大学.:/.:.包纯.基于深度学习的视频监控异常行为识别系统的设计与实现.武汉:华中科技大学.:./.:./.:.:/.:.:/().:./.:.