基于YOLOv5手榴弹检测算法的轻量化研究.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:湖北省自然科学基金面上项目()作者简介:邱锦()女硕士研究生:.通信作者:刘健()男博士副教授:.:./.基于 手榴弹检测算法的轻量化研究邱 锦刘 健沈芸亦吴中红(海军工程大学兵器工程学院 武汉)摘要:手榴弹检测是实现无人排爆的关键任务 针对 算法应用在手榴弹检测时精度高、实时性好但算法不够轻量化在弹体部分遮挡或背景杂乱的复杂环境下算法对手榴弹识别精度不高的问题提出了融合 模块与()注意力机制模块改进的 算法通过在自制手榴弹数据集上实验改进后算法参数降低检测精度仅下降检测速度提高 对遮挡手榴弹的识别效果有明显改善能更好的满足实际应用需求关键词:手榴弹检测 模块注意力机制复杂环境本文引用格式:邱锦刘健沈芸亦等.基于 手榴弹检测算法的轻量化研究.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()():().().:引言随着人工智能、深度学习等技术的发展采用就地爆破去清理哑弹(未爆手榴弹)的方法逐渐走向智能化、无人化排爆机器人、哑弹清理机器人等概念相继被学者们提出其中目标检测是利用无人平台实现排爆的基础任务也是关键任务目标检测算法的核心是输出物体的类别以及其在图像中的位置这 个过程也称为分类与回归 基于深度学习的目标检测算法按检测步骤分为单阶段算法和双阶段算法两类 经典的双阶段检测算法有、算法的基础流程是先提取图像中可能存在目标的区域生成候选区然后在候选区域上学习目标特征即通过 种不同的学习网络将目标分类和回归过程分成两阶段实现因此双阶段网络模型参数大占用存储空间大具有检测精度高但实时性差的特点 单阶段检测算法在给定一张图像作为输入时可以端到端输出与输入尺寸相同的检测结果其使用唯一的主干网络直接生成目标的分类和回归加快了检测速度但牺牲了部分精度 算法是经典的单阶段检测算法之一常常用在实时性要求高的检测任务中如自动驾驶领域、无人搜救领域常用于排爆的无人平台有无人车、无人机、机器人 等这些无人工具都需要具有可移动、高移速的特点在进行完全自主的爆破任务时要求其嵌入的检测算法在模型大小上尽量轻同时需要足够好的性能去满足复杂环境下实时并高精准的获取目标信息保证无人平台安全、顺利的完成后续任务综合分析本文中选用 算法为基础算法为实现机器人、无人车等排爆无人平台在复杂环境下(即背景杂乱或存在弹体密集分布、弹体互相遮挡等检测环境)的落地应用对基于 的手榴弹检测算法轻量化改进展开研究 算法基本结构 目前已经更新到.版本官方给出算法在 数据集上实验时其与旧版本算法的性能对比数据如表 所示 相较于上一版本算法其具体的改动如下:更新了超参数使用等效的普通卷积取代了 中 层减少了模型参数 沿用了.中 模块将起到增大感受野作用的 模块更新为(快速空间金字塔池化模块)在未损失性能的前提下整体减小了模型参数提高了模型推理速度 结合表 数据可得.版本算法在推理速度上有明显提升表 .与.算法性能对比 .().:.().().().().().综上分析 算法虽然已经更新到.版本但相较于.版本其总体结构没有大幅的改进本文中使用.版本中较为轻量的 作为基础检测框架算法可按实现功能划分为、四部分模型完整构架如图 所示图 .的完整网络结构.兵 器 装 备 工 程 学 报:/./.输入端图片输送到特征提取网络前需要在算法的输入端进行数据增强、统一图片尺寸、自适应锚框计算等三大预处理操作 算法在 以后一直沿用 数据增强算法其核心思想是随机抓取训练集中四张图片对抓取的图片随机剪裁、随机翻转、随机缩放后拼接得到大图对拼接后的大图、缩放等操作得到固定尺寸的增强后数据增强了算法单批处理数据的能力提高了模型的训练速度同时丰富了实验训练集、提高了模型的鲁棒性 是经典的基于锚框匹配的检测算法在训练阶段网络需要在其针对不同数据集设定特定尺寸(矩形框的长、宽)的初始锚点框的基础上生成预测框通过不断计算预测框与真实框的位置、尺寸差距反向更新其参数去缩小差距以保证其网络的检测准确率 自适应锚框生成算法即根据输入的数据集计算与数据集目标尺寸更为匹配的初始锚框使得网络在初始阶段能得到更贴合真实检测框大小的预测框提高训练速度 算法预设的自适应锚框算法为 聚类算法以及遗传算法首先聚类得到锚点框、再通过遗传算法生成变异锚点框自适应获取更适应数据集的预设锚框.主干网络网络的 部分通常采用连续下采样操作自适应学习目标特征信息 中沿用(跨阶段局部网络)的思想搭建以 为主要结构的特征提取模型将网络梯度信息的变化反映到特征图中降低特征图计算的冗余性同时保证网络获取到丰富的梯度信息提高了算法的运行效率.瓶颈层图片经过输入端完成预处理后进入到主干网络中提取特征随后在网络的 层完成特征多尺度融合常用的融合方式如、等 算法中为了能更充分的利用主干网络提取到的特征在其 和 之间插入了 层增大层间感受野在其瓶颈层采用经典的 复合结构实现了特征图的跨层融合丰富了特征的多样性.输出端 的输出层包含 损失计算、非极大值抑制值两大部分损失函数沿用 中的 在对生成的目标框筛选时采用 在不增加计算成本的前提下增加了网络的遮挡目标的检测能力 最后用到 个不同尺度的检测头完成对目标的识别与定位有效的缓解了多尺度检测问题 算法改进原理经实验表明:.版本的 应用在本文手榴弹数据集检测中算法检测的平均精度达到.在准确率上已经满足实际需求但距离嵌入移动设备中使用其参数量仍有待降低从轻量化出发分两阶段改进算法:第一阶段调整时使用 模块做轻量化调整即保留其等效 层的普通卷积层用 卷积模块替换剩余普通卷积、采用 替换 模块中 得到 模块大幅降低模型参数 第二阶段调整时使用 注意力机制模块(简称为 或)应用到上一阶段中得到的轻量化网络中提升其检测效果保证模型检测准确率.模块 卷积()是在 中提出的一种分阶段卷积模块其主要思想是将传统一步非线性卷积(非线性卷积 卷积 批归一化 非线性激活函数)替换为两步卷积去获得同样数量特征图的模块(数量设为 张)即第一步使用少量卷积核对输入图片进行非线性卷积输出 个 在其基础上使用线性卷积(只有卷积操作这里常用分组卷积或深度可分离卷积)生成 张特征图又称为 分步卷积的操作充分利用了特征间相关性降低了网络对冗余(相关)特征的关注成本减少了模型参数与计算量使得算法能在小幅度牺牲精度的同时达到提高运行速度的效果其二者结构对比图如图 所示图 传统卷积与 卷积结构对比图.是 中提出的一类即插即用模块可以用来减小传统瓶颈层的计算量、轻量化网络构架 按功能划分为扩张层和缩放层 部分前者由步长为 的 模块残差连接构成其目的为增加模块输出通道数后者由步长为 的残差块构成用来减小输出通道数保证了层间输入、输出通道数的一致性提高了模型学习特征的速度模块结构图如图 所示邱 锦等:基于 手榴弹检测算法的轻量化研究图 模块结构图.注意力机制模块在 卷积模块中算法执行减少非线性卷积操作时容易丢失图像的局部信息导致网络的精度下降 因此本文中提出:在基于 模块轻量化改进后的网络中添加注意力机制保证网络轻量性的同时改善模型性能提高算法识别精度注意力机制是一种通过自学习对输入信息逐区域加权的模块其目的是让模型更多的关注图像中的目标信息(增大其学习权重)降低算法对无关信息的关注程度从而学习到更多目标的细节信息 在图像领域中常用到的注意力机制按 其 加 权 位 置 分 为 通 道 注 意 力 机 制(如、)、空间注意力机制(如)以及同时对通道、空间信息加权的混合注意力机制(如、)是将目标的全局位置信息嵌入通道注意力的空间注意力模块其结构图如图 如图 所示给定一个输入时 模块用到尺寸为()、()的 种池化核分别沿特征图的、两个不同方向(图中表示为、方向)进行池化得到 个特征图替代了传统通道注意力机制如 中的一步全局池化操作将位置信息嵌入了特征图中 随后将得到的 个特征图沿空间维度方向拼接融合分离融合特征图后得到 个特征图从而得到 组不同方向的注意力加权向量这一步解决了传统空间注意力机制如 中位置注意力部分未构建空间信息间长程依赖性问题综上分析为了抑制复杂环境下背景对目标的影响选用 注意力机制提升轻量化网络的性能考虑到 中提出的观点:注意力机制加在中浅层时对网络学习能力的影响更显著 因此本文中在轻量化模型的 层前插入 层图 模块结构图.改进后的 算法结构为方便记录实验结果将本文中基于 模块、模块两阶段改进后的算法命名为 其具体改进措施如上文中所描述模型的具体结构图如图 所示(为 模块缩写 对应 模块的缩写)图 完整结构图.对应的改进后算法网络模型架构及模块参数如表 所示其中 为 模块中传统的瓶颈模块更换为 模块形成的模块 表示输入来自哪一层 表示层间模块叠加次数 表示模块基本参数如:模块输入、输出通道数卷积核大小、步长等参数兵 器 装 备 工 程 学 报:/./表 算法架构 序号 实验准备及评估标准.实验环境实验软硬件平台如表 所示.数据集及参数设置本文中采用相机实拍的方式制作手榴弹数据集单张图片单样本共采集图片 张用 软件进行手工标注按 比例将数据集划分为训练集和验证集训练时在输入端固定输入图片的尺寸为 单批处理图像数量()设为 默认训练 个 训练参数如表 所示 使用 自带的 聚类算法生成 组锚框尺寸分别为:表 实验环境配置 参数配置操作系统()().型号 深度学习框架.开发环境.表 实验参数设置 训练参数参数设置初始学习率().动量().权重衰减参数().模型预热动量().预热批数().实验模型评估标准 目标检测领域常用精度、召回率以及平均精度来综合衡量算法的检测效果 在训练后会自动生成记录曲线对于单类别的手榴弹检测其主要模型评估曲线有精度曲线(曲线)、召回率曲线(曲线)、曲线以及 .曲线其对应含义如表 所示表 模型评估指标 曲线名称曲线含义 曲线模型找对的正例与所有分类器认为是正例的数量之比 曲线模型找对的正例与所有确实是正例数量之比 曲线以 曲线为横轴 曲线为纵轴组成曲线.曲线 阈值设为.不同召回率对应精确率的平均值即 曲线与横轴围成面积大小邱 锦等:基于 手榴弹检测算法的轻量化研究 由于精确率与召回率在计算时两者互相影响单独应用时无法直接衡量出模型优劣程度 因此本文中采用.(平均精度)评估模型的查全率和查准率 越高模型的检测精度越高 采用模型生成权重大小以及模型参数大小反应模型所占内存大小用模型处理单帧图片的推理时间()即图像经过预处理后输入模型中到模型输出检测结果的时间衡量模型运行速度 仿真实验及结果分析.仿真实验为了验证模型改进后的性能在本文的数据集上使用、基于 模块改进的 算法以及基于 以及 两种模块综合改进的 算法做改进前后模块消融实验在损失函数达到收敛训练保存的日志 曲线对比图如图 所示图 .曲线对比图.为更好的展示改进后算法性能增设 算法实验对比归纳以上实验中算法的部分参数、性能如表 所示表 算法性能对比 模型总参数权重大小/./推理时间/.实验结果分析.模块改进效果分析结合上节中表 和图 分析对于文中提出的两阶段改进算法分阶段得出以下结论:)一 阶 段 算 法:参 数 量 下 降 到 原 算 法()的/模型权重减小一半虽然实现了轻量化但算法 值下降幅度较大由图 可知其 曲线一直位于 算法及 算法的 曲线下方结果表明其精度比起原算法下降了 但模型推理速度加快了.算法精度有待进一步提高)二阶段 算法:为了保证轻量化网络的检测精度提出将 模块加入轻量化网络的 算法对比 算法在增加不到 参数的前提下其 曲线在稳定时一直位于 算法的 曲线上方 值提高了模型推理速度虽减缓 算法检测精度达到.改进后检测效果分析在复杂环境下的各算法模型的检测效果如图、图 所示 分析检测效果图可知:加入注意力机制模块的 算法比起其他算法相同环境下其检测框上输出的置信度分数更高对手榴弹的识别更精确由图 中对比可得注意力机制的添加对遮挡目标的识别效果也有所改善但对遮挡目标的识别准确度有待进一步提升图 杂乱背景下检测效果对比图.图 部分遮挡下检测效果对比.兵 器 装 备 工 程 学 报:/./结论由仿真实验数据分析可得 算法在自制手榴弹数据集上达到了高精度、轻量化的效果:)对比 算法:算法参数量及权重大小仅占 算法的 模型推理速度加快了.但精度与该算法相差不到)对比 算法:参数量及权重大小均下降到 算法的/左右检测速度提高了 保证了算法的高实时性降低了模型嵌入移动端时所需要的设备要求减少了计算成本提高了检测效率综上所述文中针对算法在复杂环境下识别效率不高、不够轻量化的问题改进了 算法提出了 算法在自制数据集上检测效果良好模型在复杂环境下识别目标的能力有所提高同时参数量大幅度降低实现了检测算法在高精度下的轻量化识别效率不高的问题对 算法做出了轻量化改进提出了 算法在自制数据集上检测能满足更多嵌入式设备的需求参考文献:王浩何昌见倪俊杰.基于深度图像的排爆机器人目标物检测抓取方法.中国安防():.():.吴皆旺孙胜利徐文君等.云层背景下基于混沌理论的红外小目标检测研究.半导体光电():.():.张静农昌瑞杨智勇.基于卷积神经网络的目标检测算法综述/.兵器装备工程学报:./.:./.():.高志华.哑弹清理机器人目标识别与定位系统初步研究.兰州:兰州理工大学.马晨.基于嵌入式系统的深度神经网络目标检测算法研究.长春:吉林大学.:.().:/().().:.:.:.:.:.王玲敏段军辛立伟.引入注意力机制的 安全帽佩戴检测方法/.计算机工程与应用:./.:.吴萌萌张泽斌宋尧哲等.基于自适应特征增强的小目标检测网络/.激光与光电子学进展:./.:.科学编辑 武江鹏 博士(中国兵器工业 所高级工程师)责任编辑 胡君德邱 锦等:基于 手榴弹检测算法的轻量化研究