基于改进YOLOv5的复杂环境下小目标弹孔识别.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:多源数据驱动的人机协作装配机器人主从作业动态控制方法研究作者简介:吴飞()男博士教授硕士生导师:.通信作者:李纶()女硕士:.:./.基于改进 的复杂环境下小目标弹孔识别吴 飞李 纶(武汉理工大学 机电工程学院 武汉)摘要:为实现能够在不同光照、阴影遮挡、弹孔重叠等复杂环境下对靶面弹孔的高效精准地识别提出一种基于改进 的实例分割算法 模型以 主干网络为基础融合了含有 模块的分割解码器实现对弹孔小目标的实例分割对目标检测端输出参数进行解耦降低回归参数与类别概率的耦合影响提高识别精度调整模型的输出尺度删减预测大目标的特征层增加融合低层信息的极小目标预测层以此提升检测召回率与精确率 对于经过数据集训练后的模型在测试集下的检测精度达到.检测速度达到.帧/与原网络、等网络的对比试验表明所提模型在复杂环境下具有较高的检测精度与检测速度满足实际训练中的精确性与实时性要求关键词:深度学习实例分割弹孔识别复杂环境本文引用格式:吴飞李纶.基于改进 的复杂环境下小目标弹孔识别.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()():./.:引言胸环靶射击项目是军事实训中十分重要的环节简单快捷的报靶流程也是研究重点 目前室内报靶环节在逐步智能化但室外复杂环境的报靶工作仍需依靠人工报靶员具有较大风险 解决室外自动报靶困难的关键在于弹孔识别与定位室外的光照、阴影、树叶对弹孔的遮挡、靶面振动等不稳定因素都影响着识别的正确率与稳定性 因此研究出能够在复杂环境下对弹孔进行快速且精确识别的系统对实现室外自动报靶具有重要研究意义和实际应用价值现阶段利用视觉技术处理弹孔图像的方式十分有潜力王奇等提出了一种基于红外图像的识别方法利用红外图像检测子弹上靶留下的热量结合帧间差分法识别光斑中心来判定弹孔位置但对相距较近或重叠的弹孔识别情况较差 等研究出一种基于方向梯度直方图()和支持向量机()的算法:利用 提取梯度特征用 来区分真实弹孔和干扰噪点并建立弹孔数据库通过重新训练的模型对弹孔进行识别与分类 上述传统的图像处理方式十分依赖由人工提取的特征点导致特定环境下的目标描述性好但泛化性和适应性较差深度神经网络发展迅速其可通过大量训练来学习目标对象的本质信息在复杂的场景任务中也能更好地表达目标特征 其中卷积神经网 络()最常应用于图像领域主要研究内容为目标检测、语义分割、实例分割等 目标检测是通过网络对目标进行定位主要可分为 类:一类需要生成候选区再对候选区分类以、为例另一类则直接对图像进行卷积比如 系列、系列等具有检测速度快的优点 语义分割则是对图像进行像素级预测分割出含有语义信息的区域块典型代表有、系列 实例分割的经典网络为 精度高但速度较慢 弹孔属于小目标具有携带信息少、下采样特征易丢失等特点现阶段将深度神经网络与弹孔识别结合起来的研究较少因此想要同时兼顾实时性与精确度还需进一步研究综上所述本研究中选择改进后的实例分割算法对弹孔痕迹进行识别并分割以检测速度和精度都十分优秀的 的网络为基础引入分割卷积层调整网络结构与预测尺度增加对弹孔小目标的敏感度 同时模拟训练环境对其进行测试评估改进后模型的精度与速度 数据集制作.数据样本采集本文图像采集于 月份的武汉市森林公园采集设备型号为英特尔 图像保存为.格式图像分辨率为 为模拟更加真实的报靶环境采集时分为晴天、阴天和多云等天气时间段分为清晨、正午、傍晚 个时间段每个时间段变换角度、距离采集 张图像一共挑选出 张图像 为了保证样本多样性同时避免训练时产生过拟合等状况图像样本基本涵盖了复杂背景中弹孔可能会出现的各种结果 比如:弹孔遮挡、弹孔模糊、树影或树叶遮挡等 图 展示了一组收集到的复杂环境下的弹孔图像图 复杂环境下的弹孔图像.数据集制作与预处理完成图片样本的基础采集后利用 软件对采集到的原始靶面图像中的弹孔痕迹进行分割图 为训练样本及其标签示例图 训练样本及其标签实例.为丰富弹孔背景增加样本集数量提高模型的鲁棒性还需对原始图像进行数据增强 对每张照片随机挑选一种处理方式比如裁剪、旋转、增加噪点、光学处理等增强后的吴 飞等:基于改进 的复杂环境下小目标弹孔识别数据集共 张 按照 的比例将数据集分为训练集和验证集其中训练集 张验证集 张 基于 网络结构的改进.调整输出尺度原 骨干网络主要通过融合深层网络信息来增强网络语义识别能力利用特征金字塔网络()和路径聚合网络()对提取信息进行整合最后输出 种尺度特征图来预测目标信息结构如图()所示 采集照片尺寸为 弹孔像素尺寸在 范围内波动目标像素点占原图像素点的比例小于.在小目标中属于极小类别原有最大尺度失去预测意义且原有小尺度已不适用弹孔目标 因此本研究在原有特征融合金字塔网络上增加 倍下采样的浅层特征图信息用来补充高层语义信息中缺失的底层空间信息增加模型对弹孔小目标位置的敏感度 在预测特征图方面删减 倍下采样的大尺度预测图增加更小尺度的预测特征图增强对弹孔小目标的识别能力结构如图()所示图 模型输出特征图尺度的改动.目标预测端解耦化模型结构以 网络框架为基础 在 中负责检测目标边界框的检测端是卷积核为 、步长为 的卷积层同时预测目标的回归参数与类别概率 分类与回归任务同时进行导致两者耦合产生冲突影响网络性能 本文中网络采用 中的解耦思想对预测内容进行解耦可以显著提升收敛速度解耦后的具体结构如图 所示图 解耦端结构.解耦结构先通过卷积核 步长为 的卷积模块()将通道个数调整为其中 模块包含了卷积层、层和采用激活函数的激活层 再延伸出 个并行分支其中一个分支针对目标信息预测另一个分支继续并行 个 的卷积层分别预测目标回归参数和预测框的置信度.添加融合 结构的分割模块经典的分割网络如()通过反卷积对特征层()进行上采样()恢复到原图尺寸并对像素进行分类 然而弹孔作为小目标特征信息较少若采用传统上采样的方式容易造成细节丢失所以在分割解码器中融合了增加感受野的模块()和浅层空间信息 由 种不同尺度的空洞卷积层()、卷积层与平均池化层()构成它可以在不丢失分辨率的情况下扩大卷积核的感受野以获取更多细节信息有利于提高小目标的检测精度 空洞卷积层是 的核心其不仅可以扩大感受野还可以减少目标特征信息流失 相比普通卷积层空洞卷积采集的像素点存在间隙间隙大小程度由膨胀因子 决定如图 所示图 不同膨胀因子及其对应感受野.由图 可知()为传统卷积层 为()和()显示兵 器 装 备 工 程 学 报:/./为 和 的卷积形态等效卷积核大小分别为 和 对于采用空洞卷积的特征层其感受野计算式为:()()()式()中:代表第 层感受野 应卷积核尺寸 应步长取输出特征层尺寸 卷积核尺寸 步长设置 为例子 此时普通卷积层感受野为 而 为 和 的感受野尺寸分别为 和 可以最大化利用像素点信息如图()、图 ()、图()所示 通过并联 个不同膨胀因子的空洞卷积层来获取多尺度信息此时特征层下采样倍数为膨胀因子设置为 同时并联 卷积层与全局池化层全局池化层通过 的卷积层调整通道数再通过双线性插值还原成输入尺寸 最后拼接()个部分并通过 的卷积层进行融合详细结构如图 所示图 的并联结构.分割解码器的结构流程如图 所示:先将 倍下采样的高层语义特征图送入 模块中融合上下文信息并输出尺寸不变的特征图再以双线性插值的方式进行 倍上采样结合主干网络同尺度的低层特征图通过 卷积层进行融合得到下采样倍数为 的特征层 接着采用相同的方法重复融合低层复杂边缘空间信息使得特征层在涵盖复杂上下文语义信息的情况下还能拥有良好的目标边缘检测能力 最后上采样还原到输入图片尺寸输出分割特征图图 分割解码器结构示意图.改进后网络整体结构整体网络结构分为特征提取主干()、融合层()和解码器()个部分改进后的网络模型如图 所示 其中 为 为融入 模块后的 网络 模块为示意图所标示的 结构具有增强网络学习能力、减少网络计算量和降低显存占用的优势图 改进后的网络模型结构.吴 飞等:基于改进 的复杂环境下小目标弹孔识别 部分采用路径聚合网络 在从底层到高层融合的特征金字塔 基础上增加了从高层到底层融合的部分 充分利用 所提取的不同层次的特征信息增加了对小目标弹孔的敏感度 部分有 个分支分别是对特征图进行目标检测()与语义分割()两者并联进行 以 倍下采样特征层为基础结合 模块再融合 次低层空间信息最后通过上采样生成原图尺寸的分割图 目标检测端输出 种尺度的预测特征框分别预测中小目标与极小目标通过非极大值抑制筛除不满足要求的预测框后将预测结果图也还原到原图尺寸最后将输出的分割图与目标检测框图相融合得到每个弹孔的实例分割图其中模型里采用的 结构为 模块变体 部分 结构和 的详细结构如图()、()所示 数量按下采样顺序由上到下依次为 的 结构和 中相同且 数量为固定值 相比 增加了残差连接其余卷积核尺寸都相同如图()所示图 具体结构及其对应.金字塔池化 模块主要用来解决目标多尺度问题原有 模块通过并联 个尺寸为 、的最大池化层来获取局部特征和全局特征 而 通过串联 个尺寸为 的最大池化层的方式即可实现 的效果运算速率却比 增加 倍有余显著降低了计算量如图 所示图 改进后的空间金字塔模块().损失函数本文中网络的损失函数由 部分组成包括目标检测损失和分割掩膜()预测损失为 ()()其中:目标检测损失 包括 个部分:分类损失()、置信度损失()和定位损失()为平衡系数 分类损失和置信度损失都采用二值交叉熵损失()计算但 只计算正样本损失计算所有样本损失公式为()()()()()()()()式()中:表示预测边界框 中是否存在目标类别 为预测值 经过 函数激活得到的目标概率为正样本个数 式()中:代表网络预测边界框与标注目标边界框的 为预测值 的激活值 表示所有样本个数 定位损失采用 只计算正样本其表达式为:()()()()()()()()由式()可知()代表真实框与预测框中心点的欧式距离 则代表预测框与真实框最小外接矩形对角线的长度和 分别对应真实框与预测框的宽和 同理分割损失 同样采用 进行计算公式为 ()()()()()式()中:为特征图像素点数量总和()和()代表第 个样本中第 个像素的真值及其对应预测值结合两者像素点偏差计算分割掩膜的损失兵 器 装 备 工 程 学 报:/./网络训练.评价指标本研究中实验采用平均交并比()、像素精度()、平均准确率()、每秒传输帧数()为评价指标来衡量网络检测精度与性能 代表精确率 代表回召率 为以 为横坐标 为纵坐标的 曲线的面积代表目标检测平均精度值 ()()()()定义为预测值与真实值交集与并集的比值 表示预测正确的像素点数占总像素点数的比例其表达式为 ()()式()、式()中:()表示语义类别加上背景之后的总数 表示真实值 为预测值表示预测值等于真实值的像素点数表示类别 被预测为类别 的像素点数表示类别 的总像素个数.训练过程与结果评估本实验在云服务器中搭建的环境里进行处理器为 服务器运行内存为 显存为 型号是 利用 构建网络环境版本为.操作系统为.编程语言为.迭代次数()设置为 设置为 目标过于单一为防止过拟合现象的出现采用 优化器优化器内置参数 设为.权值衰减()设为.初始学习率设为.最小学习率为最大学习率的/设置为.学习率下降的方式为余弦退火()随着迭代次数的增加训练集与验证集上的损失值变化曲线与如图 所示 由图 可知从第 轮开始损失值下降趋势减缓并趋于稳定曲线接近拟合状态之后网络损失一直在范围内波动但从 轮之后验证集损失值反而不降反升说明网络已经出现过拟合 评估拟合阶段权重的精度值选取精度最高的 作为最优权重此时 图 训练集与验证集的损失曲线.实验结果分析.不同算法的比较分析本文中网络模型以 框架为基础融合分割模块实现对复杂环境小目标的实例分割 所以在实验阶段需结合经典语义分割模型 、实例分割模型 和原网络 及最新 模型进行对比分析 表 展示了不同算法在验证集下的评估结果表 不同网络模型的评估结果 网络模型()/(帧 ).().().由表 可知模型检测精度为.相比 增加了.个百分点主干网络替换成 省略了生成候选区的步骤使检测速度获得显著提升 相比 提升了 倍左右 与 原网络相比识别精度对比 型有显著提升但模型结构复杂导致 只占原来的/对比 型精度水平相当 提高.帧/最新的 网络识别能力强比本文模型精度略高但运行较慢 仅占本文网络/属于语义分割模型特有的指标虽然 种分割网络结构不同但 值相近无法比较出明显区别重点需要参考/值 在检测精度方面目标识别领域利用 来评估语义分割领域可以采用同样衡量预测精度的指标 来等效 由于主干网络 属于目标检测网络对目标抓取能力较强本文中网络模型吴 飞等:基于改进 的复杂环境下小目标弹孔识别相比 为 结构的 网络识别精度提升.个百分点 属于轻量化网络运算量较小本文中模型 与其相近略微提高.帧/主干网络较深学习能力强结构更加复杂配合 精度能够达到.比本文模型高.个百分点但 较低只能达到.帧/综上所述本文网络模型能够在检测精度接近、()等优秀网络的前提下在检测速度方面优于其他网络同时满足准确性与实时性的需求本文中模型检测结果如图 所示展示了模型在傍晚光照、阴影遮挡、弹孔模糊情况下的检测效果 预测结果中所有弹孔都被成功识别没有出现漏检或误检情况弹孔分割精度也满足要求图 改进后的算法检测效果.不同模型识别效果的对比试验本文中研究对象为野外实弹训练产生的靶面弹孔弹孔颜色深容易和深绿色靶纸和周围环境混淆影响识别准度与精度 因此建立不同光照、不同阴影遮挡条件下的对比实验每一类挑选 张图片进行测试 光照和阴影遮挡实验的考察重点为弹孔轮廓的检测精度与弹孔召回率测试效果如图、图 所示其中为展现识别精度对照网络 的主干网络选为 由图 可看出改进后网络识别出的分割掩膜更加贴近弹孔真实轮廓效果强于 与 分割精度相近能够较好地表现出弹孔的复杂边缘 对于识别难度较低的清晨光照环境本文中网络与()、()和 都能识别出所有弹孔但光照略微复杂的傍晚与正午环境()容易出现不同程度的漏检而本文中网络能够保持与、()的识别精度都能全面识别符合评估结果图 展现了改进后模型在复杂阴影和遮挡条件下分割精度与识别精度的对比试验图 因为环境更为复杂所以只保留精度最高的()、网络对比识别精度 对比分割精度 由图可知阴影对分割精度影响很大:对于遮挡小弹孔 易将树叶错误分割成弹孔如图()所示对于位置相近的多弹孔 容易识别成单个目标无法分割正确轮廓如图()、图()所示在识别精度方面不同网络存在着不同程度的漏检或误检()只在单一阴影条件下识别效果良好如图图()一旦阴影复杂就极易出现漏检在图 ()中 个弹孔漏检 个识别 个图 ()中将 个弹孔识别成 个出现误检 在只有阴影的图 ()中识别效果不错但在图()中只识别出 个弹孔漏检 个在图()中相连的 个弹孔只识别出 个漏检 个 而本文算法在 种复杂情景都有较好的表现弹孔全部识别成功兼顾分割精度与识别准确率由此可见在复杂环境中具有一定优势图 不同网络在 种光照下的识别对比图.兵 器 装 备 工 程 学 报:/./图 不同网络在复杂阴影情况下的识别对比图.结论)针对野外训练的复杂环境下靶面弹孔难以高效被识别的问题提出同时融合目标检测与语义分割的弹孔分割网络利用多任务训练提升特征层对复杂环境弹孔小目标的识别精度与分割精度降低模型运算量满足实时性需求)模型以 主干网络为基础融合分割模块调整输出尺度增加针对极小目标的预测层并结合解耦思想提高模型检测精度 算法在验证集下的精度为.达到.帧/)通过对比实验可知本文中模型无论是在复杂阴影或光照条件下都可以识别所有弹孔痕迹极少出现漏检或误检情况相比其他网络模型本文中算法在保持高精度识别条件的情况下显著提升了网络的运算速度满足了实际训练中精确度与实时性要求拥有较好的综合性能参考文献:王太军杨斌周超等.自动报靶系统弹着点识别技术研究.通信与信息技术():.():.柳华林张毅王海鹏等.一种复杂环境下的胸环靶图分割方法.兵器装备工程学报():.():.黄应清陈晓明谢志宏等.基于 的胸环靶图分割方法.兵器装备工程学报():.():.王奇刘广文王劲松.一种基于红外图像的弹孔识别方法.长春理工大学学报():.():./:.():.胡越罗东阳花奎等.关于深度学习的综述与讨论.智能系统学报():.():.吴 飞等:基于改进 的复杂环境下小目标弹孔识别 .():.():./.:.:./.:.:.:/.:.:.:/.:.():./.:./.:.刘颖刘红燕范九伦等.基于深度学习的小目标检测研究与应用综述.电子学报():.():.科学编辑 宫华 博士(沈阳理工大学 教授)责任编辑 唐定国(上接第 页).:.():.楼维维董伊雯金逸凡等.掺镧羟基磷灰石涂层的合成和性能表征.中国组织工程研究():.():.张玉梅傅涛徐可为等.含镧羟基磷灰石涂层材料的细胞相容性研究.实用口腔医学杂志.:.():.科学编辑张雪辉 博士(江西理工大学 副教授)责任编辑 胡君德兵 器 装 备 工 程 学 报:/./