基于改进YOLO v5的手语字母语的识别方法.pdf

第 卷 第 期 年 月南京工程学院学报(自然科学版)().:./.投稿网址:/.基于改进 的手语字母语的识别方法潘 格许有熊刘晓锋(南京工程学院自动化学院 江苏 南京)摘 要:针对传统手势识别方法计算量大、难以实时识别的问题研究一种基于改进 的轻量化手语检测识别方法.首先用 替换 的主干网络然后利用 模块和 模块替换 颈部网络中的 和 模块最后通过 的预测部分生成预测框.在此基础上利用 算法生成适合手势的先验框加快网络检测手势.与其他网络算法对比分析可知改进算法在保持精度基本不变的情况下可大幅减少网络参数提高网络的检测速度.关键词:轻量化手语识别中图分类号:.收稿日期:基金项目:南京工程学院大学生科技创新基金项目()作者简介:潘格硕士研究生研究方向为机器视觉.:.引文格式:潘格许有熊刘晓锋.基于改进 的手语字母语的识别方法.南京工程学院学报(自然科学版)():.手语是聋哑人交流的信息载体手语识别是人机交互研究的重要领域.手势识别被广泛应用于虚拟现实系统、互动游戏平台、手语识别和控制机器人等领域.在人机交互过程中为了使计算机快速、准确地识别手势并理解其含义提高手势识别的准确率和速度显得尤为重要.传统的手势识别算法是利用人体手部区域的颜色特征来实现容易受到环境变化的干扰.基于卷积神经网络的手势识别对环境的适应能力更好鲁棒性更强.文献利用 算法南京工程学院学报(自然科学版)年 月对手势进行识别检测精度高但是检测时间较长不能达到实时检测的水平文献利用多尺度卷积特征融合的 算法对手势进行识别在提高精度情况下降低了检测速度文献采用基于改进 算法的手势识别在实时性和检测精度上同时取得了不错的结果文献通过在 中融入 注意力机制和 自适应特征融合机制精度提升比较明显.现有手势识别方法虽然精度较高但是对运算要求高难以实时检测和移植到便携设备.为实现实时手语识别本文选用在速度和精度方面均表现优异的 目标检测算法为基础与轻量化网络、相互融合并利用算法对锚框进行设定.在保持精度不变的情况下本文方法大幅降低了模型参数量和运算量.算法介绍目标检测的基本任务是判别图像中被检测的目标类别并确定目标所在位置、大小和置信度.目标检测算法主要分为双阶段和单阶段检测两种.双阶段检测精度高但是速度慢常用的双阶段算法有、算法等单阶段检测速度快但是精度比双阶段检测低常用的单阶段算法有 和 算法.是一种单阶段目标检测模型经过 个版本的迭代后在速度和精确度上都得到了较大提高.算法根据网络结构深度和宽度分为、.为了满足实时检测的速度要求本文选用模型复杂程度最低、速度最快的 .图 为 网络结构图网络分为输入端、特征提取端、颈部端、输出端 四个部分:)输入端采用 数据增强以随机比例、随机裁剪和随机顺序将四幅图像拼接丰富检测物体背景提高小目标的检测效果自适应锚定框根据不同的目标检测数据集利用 聚类算法自动确定初始锚框的大小.通过自适应图像缩放减少图像中黑边节省计算能力并提高检测速度)特征提取端采用 网络结构利用()结构进行切片操作提高速度 并且方便导出其他模型.带残差的结构可以避免梯度消失和网络退化空间池化塔结构进行图像尺寸统一)颈部端采用自顶向下的特征金字塔 结构和自底向上的 组合结构组合结构中采用不带残差的 结构加强了网络的特征融合能力)输出端采用 作为边界框损失函数利用加权 对非极大值进行抑制从而获得图 网络结构图第 卷第 期潘 格等:基于改进 的手语字母语的识别方法最优目标框.输出层共有 个尺寸的输出通道分别对应大中小三个视野.算法改进.基于 算法的先验框选取 算法在识别过程中会使用先验框先验框符合数据集可以提高训练精度.预设的先验框大小是对 数据集聚类获得和手语数据集的匹配度不高.本论文的研究对象仅限于手势语言手语数据集中对象大小相近宽高比相近.因此通过 聚类方法对手语数据进行聚类可以获得更好的识别结果.采用 聚类方法得到其对应的先验框大小其在原图大小具体为对应小尺寸特征图()、()、()对应 中 尺 寸 特 征 图()、()、()对 应 大 尺 寸 特 征 图()、()、().用 替换特征提取网络 算法采用 作为基础的特征提取网络模型的分类精度表现优异但是层数、模型参数过多、计算量大.网络以深度可分离卷积替换标准卷积可以降低模型参数量和计算量.为了将模型移植到计算处理能力有限的移动平台本文采用参数少、计算量低的轻量级网络 替换 的主干网络.深度可分离卷积由一个深度卷积和一个逐点卷积组成假设 为输入的特征高度 为输入特征宽度 为输入层数 为输出层数为卷积核边长则深度可分离卷积与标准卷积计算量之比为:()一般 远大于 深度卷积核大小为 .深度可分离卷积可以使参数量降低近 同时大幅降低计算量.的 结构如图 所示继承了 线性瓶颈的倒残差结构先升维再降维并将输入、输出部分相连接.引入轻量级注意力 模块在 结构中将通道变为原来的 /解决 消耗的额外时间.利用 和 来优化网络的配置和参数降低卷积核的通道数量修改尾部结构降低计算量重新设计激活函数在主干模块中以 激活函数代替 公式为:()()在 模块中以 激活函数代替 公式为:()()激活函数公式为:()()()提供 和 两个版本 版本计算量更低故选取 网络作为手语分类模型的主干网络.图 结构图.融入 模块的功能是代替普通卷积将普通卷积分为两部分:)进行普通的 卷积类似于特征整合生成输入特征层的特征浓缩)进行深度可分离卷积深度可分离卷积是逐层卷积利用上一步获得的特征浓缩生成 特征图.模块结构如图 所示.假设输入特征图尺寸为南京工程学院学报(自然科学版)年 月 输出特征图尺寸为 卷积核大小为 模块第一部分卷积核大小为 第二部分卷积核大小为 要生成 个幻影特征图.普通卷积的计算量为:()图 模块结构 卷积的计算量为:()()模型的压缩比为:()()通过堆叠 模块得到 来替换网络中 模块从而减少计算量降低模型体积如图 所示.当需要对特征层的宽高进行压缩时设置 在 里添加卷积层在主干部分两个 中添加一个步长为 的深度可分离卷积进行特征层的宽高压缩在残差边部分添加一个步长为 的深度可分离卷积和 的普通卷积.模块是简化版 只有 个卷积模块比 少 个 模块和 层、激活层减少了参数.将 换成 就是 图 为 结构图可进一步减少参数量和计算量.图 结构图图 结构图.整体结构框架图采用 替换 的主干网络并将 和 替换原来的 和 模块分别在第 层、第 层和第 层 进行提取然后进行特征融合最后通过预测网络 的 获得预测结果其模型结构如图 所示表 为改进后的网络参数.第 卷第 期潘 格等:基于改进 的手语字母语的识别方法图 改进后的网络结构图表 改进后的网络参数层来源于参数量模块名参数 试验结果与分析.试验数据集及环境本次试验采用 网站提供的手语字母数据集数据集包含 个字母数据类别为在不同环境和光照下的手语字母图像(:/./).为了提高手语识别的准确性对数据集进行镜像、裁切、旋转、剪切、灰度处理、明暗处理和模糊处理等数据增强并把分辨率控制在 范围内最后得到 幅图像.利用 软件对图像进行标注数据集格式选用 标签保存为 格式文件名和图像名称一致.根据用途不同对标注好的数据集按照 划分分为训练集 幅、验证集 幅和测试集 幅.试验环境配置:、.、.模 型 衰 减 权 重 为.设置为 设置为 测试时图像输入为 考虑到大多数移动设备没有图形卡加速同时进行 测试模拟移动端的情况 测试时输入为 .模型在 为 范围内各项数据都已稳定.试验评价指标本试验选取平均准确率、召回率、平均精度均值、参数量 和帧率 来评估衡量模型的性能和速度计算公式为:()()南京工程学院学报(自然科学版)年 月式中:为检测正确的数量 为检测错误的数量 为未被检测出的数量 为平均精度其值为 曲线下的面积 为平均精度均值即 的平均值 为参数量由全部的卷积层和全连接相加得到 为上一帧的时间间隔具有实时性.试验结果对比采用、以及本文改进的 算法对手语数据集的检测准确率进行对比.其中 算法为双阶段目标检测算法其余的为单阶段目标检测算法.各模型对比结果见表.从表 可以看出本文改进算法的网络参数量比其他模型算法大大减少检测速度大大提升在 上可以快速检测达到实时检测速度 与 相比基本保持不变 值和 值有小幅度的提升.虽然本文改进算法的 和 以及 模型算法相比有一定差距但仍拥有较高的检测精度并且在速度上达到了几十倍的领先优势.表 算法对比结果模型./()/().本文改进算法.结语本文基于改进 轻量化算法进行手语检测对候选框、主干网络、卷积模块进行轻量化和优化将改进的 检测训练结果和其他网络模型进行对比其识别精度高、识别速度快、模型参数低为移植移动端提供了较好的参考结果.参考文献:胡章芳杨麟罗元等.一种基于改进的 算法的静态手语字母识别方法.重庆邮电大学学报(自然科学版)():.陈影柔秋红慧敏等.基于多特征加权融合的静态手势识别.计算机系统应用():.张金冯涛.基于改进的 的手势识别.信息通信():.熊才华巩言丽廉华等.基于 改进的 手势识别算法.计算机时代():.吴晓凤张江鑫徐欣晨.基于 的手势识别算法.计算机辅助设计与图形学学报():.谢淋东仲志丹乔栋豪等.多尺度卷积特征融合的 手势识别算法.计算机技术与发展():.卢迪马文强.基于改进 算法的手势识别.电子与信息学报():.陈帅袁宇浩.改进 的手语字母识别算法研究/.小型微型计算机系统:.:/./.谢富朱定局.深度学习目标检测方法综述.计算机系统应用():.李一男.深度学习目标检测方法研究综述.中国新通信():.朱明张镇府黄凰等.基于轻量级神经网络 的鲈鱼摄食状态分类.农业工程学报():.