基于改进YOLOv5s轻量化模型的红外场景目标检测方法研究.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:中北大学研究生科技立项资助课题()山西省重点实验室开放项目()作者简介:刘芷汐()男硕士研究生:.通信作者:周春桂()女博士教授:.:./.基于改进 轻量化模型的红外场景目标检测方法研究刘芷汐周春桂崔俊杰段 捷岳凯杰(中北大学 机电工程学院 太原)摘要:红外技术在防备夜间作战和隐蔽作战中发挥的作用是至关重要的针对如何平衡红外图像检测精度与轻量化的问题提出一种基于红外场景下的轻量化目标检测模型 该网络模型采用改进的 模块替换原有的 骨干网络 此外应用轻量级上采样算子 替换原有上采样模块在 模块中加入 注意力机制降低冗余信息提高特征的区分性和表征能力重新设计损失函数 作为新的损失函数加快模型收敛速度 在公开数据集 上进行了实验实验结果表明:改进之后网络模型的平均检测精度达到.仅降低.个百分点而 模型的网络参数数量、理论计算量分别减少、模型的推理速度提高 满足部署于边缘设备的需求关键词:红外目标检测轻量化模型注意力机制损失函数本文引用格式:刘芷汐周春桂崔俊杰等.基于改进 轻量化模型的红外场景目标检测方法研究.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()():.:引言夜间作战和隐蔽行动是现代军事中的关键策略 夜间作战利用敌方的视觉弱点使之更容易接近、侦察、打击或撤离目标隐蔽行动使用隐身技术和伪装来隐藏军事单位的存在包括使用隐身飞机、船只或装甲车辆或使用伪装涂装和掩体来掩盖位置 在此情况下传统使用 图像进行目标识别的方法在夜间条件下色彩失真缺乏细节清晰度差已不满足现代战争的需求而红外成像技术具有穿透雾霾、烟雾的能力可以在完全黑暗或低光环境下工作能够解决 图像夜间条件下的缺点便于夜间目标的检测识别 当前红外目标检测的研究还存在实时性较差、分辨率有限、鲁棒性较低、计算量庞大等问题因此对红外目标检测方法进行准确性和轻量化的提升就尤为重要近年来随着深度学习的不断发展基于卷积神经网络的目标检测算法已广泛的应用在目标检测的任务中卷积神经网络()通过深层次的特征提取能够捕获图像和数据的更抽象的语义信息从而显著提高了特征的表达能力 这使得 在目标定位和分类等任务中远远优于传统方法后者通常依赖于手工提取特征 其中又分为单阶段与双阶段算法典型代表有 、等 目前对红外图像目标检测的研究已取得一定研究成果 林建等提出了一种基于残差机制的特征提取网络增加了更大尺寸的检测头提高了红外图像小目标的检测概率等提出一种以高效网络()取代传统骨干网络增强特征提取以扩展残差 降低红外图像噪声的新型模型取得了.的检测精度谌海云等把空间通道混合注意力模块融合到 特征提取主干网络中在检测头处进行反卷积操作扩大输出特征图使网络模型检测精度比基准网络平均精度提高了.李云等提出了一种基于脉冲耦合神经网络()和改进邻域判决的红外弱小目标检测算法极大地减少了候选目标数量准确有效地检测出复杂背景中的红外运动弱小目标樊俊良等采用 高通滤波对图像进行背景抑制选用计算效率最高的非精确的增广拉格朗日算法恢复背景和目标前景图像以适应多种背景下的单帧红外小目标检测本文中选取 作为基准网络框架通过对原始主干网络改进引入轻量级上采样算子添加注意力机制改变损失函数提出一种轻量级目标检测网络 该网络模型增强了红外场景中网络的特征提取能力同时明显降低了网络的计算能力提高了模型的收敛速度 基准网络模型框架()系列算法是一种实时目标检测算法由 和 等人提出于 年发布第一版 其后陆续出现、版本 通过对现有几种目标检测算法的分析与研究综合考虑检测速度和检测精度的要求选取 作为基础网络 网络(见图)由 部分组成(输入端、)图 网络模型结构.在图片输入阶段采用了与 一样的 数据增强方法该方法采取 张图片使用随机缩放、随机裁剪、随机排布的方式进行拼接丰富了数据集的同时减少了 所需的算力让网络的鲁棒性更优在网络训练过程中针对不同的数据集会有不同的初始锚框网络在此基础上输出预测框进而与真实框相比较计算两者差值再反向更新迭代网络参数为了应对输入不同的图片尺寸在把图片送入网络之前通常会做图片缩放的操作一般目标检测算法只能将图片缩放到固定尺寸此种方式会存在更多的信息冗余影响推理速度而 采用自适应图片缩放即对原始图像自适应添加最少的黑边 设计了 种 结构分别位于 与 中 模块(见图)的主要思想是将输入特征图分为兵 器 装 备 工 程 学 报:/./个部分一部分进行卷积处理另一部分保持原始状态再将这 部分按通道进行连接这样可以减轻卷积层对信息的破坏并丰富特征表示能力图 模块.部分采用 结构如图 所示在 基础上进行改进引入了自顶向下和自底向上的路径聚合机制自顶向下的路径通过上采样操作将较高层的特征向下传递以便与较低层的特征进行融合自底向上的路径通过横向链接将低层特征与高层特征进行融合极大增强了其表示能力图 结构.阶段采用 作为损失函数用于计算预测框与真实框之间的差距使用加权 非极大抑制优化检测框使得被遮挡目标也可被检出进一步提升网络的检测精度最终输出图片尺寸为 、改进 算法本文中以 为基础网络框架进行 部分改进如图 所示首先采用改进的 模块替换了原有的骨干网络增强红外图像的特征提取能力降低模型的复杂度加快模型的推理速度然后在特征上采样模块中把原有的邻近上采样算子替换为轻量化的 上采样算子进一步减轻模型的复杂度在 模块中加入 注意力机制增强对重要通道特征的关注度最后用 损失函数替换 损失函数以提供更好、更精确的收敛性提高检测的效果图 网络结构.主干网络改进 算法的权重文件都是在 数据集上进行训练的 数据集里包括 个类别的常见物体其中全都为可见光图片模型参数较为庞大、计算量大、模型尺寸也大比较依赖 进行计算 然而本文中的目标是设计轻量化网络在保证预测精度与推理速度的前提下减小模型的大小以便更容易部署在移动设备上 因此采用轻量级 网络结构替换 原有的骨干网络该网络结构可以很好的满足检测精度与运行速度的要求但考虑到对红外场景进行识别时通常存在以下的问题:)与 图片相比红外图像缺乏详细的纹理与特征尤其是在深层网络中特征的丢失与其他的噪声)其次在检测目标中行人与自行车等重要检测目标通常形状为长条形并不是规则的方形所以用普通卷积进行卷积操作时容易导致有效特征信息的丢失基于上述存在问题本文中设计了一种深度条形卷积注意力模块()如图 所示 模块接收的信息首先经过一个 的深度卷积进行聚合然后通过 对深度条形卷积()()以及一个不经过任何操作的分支将 个分支的结果相加使网络自适应选择性地融合不同层的信息然后在由 的卷积实现跨通道的信息整合与交互增强特征表达能力和多样性 将 模块嵌入到 模块中并在右侧分支中加入 注意力机制得到的改进网络框架如图 所示通常进行深度卷积操作时会在卷积之前之后都进行一个 的卷积来融合通道之间的信息但这样会导致冗余信息的产生为了满足轻量化的要求去掉一组 的卷积操作刘芷汐等:基于改进 轻量化模型的红外场景目标检测方法研究图 模块.图 改进的 模块.上采样模块的改进上采样是特征金字塔中至关重要的操作上采样模块用于增强特征图的空间分辨率从而提高目标检测的准确性和检测精度 常用的上采样方式有双线性插值、最近邻插值、转置卷积等双线性插值法通过对相邻像素进行插值计算来增加分辨率方法简单且计算效率高但可能会导致一定的模糊效果最近邻插值法将目标像素的值设置为距离最近输入像素的值计算速度非常快但可能会引入锯齿状的伪像转置卷积法是一种通过学习可训练的卷积核来进行上采样的方法但此种方法给网络引入了大量的参数和计算开销 等提出的 在一定程度上弥补了上面几种方法的不足 的核心思想是通过组合低分辨率特征图中的信息来生成高分辨率特征图它将低分辨率特征图中的每个像素都映射到高分辨率特征图中并根据像素之间的空间关系进行插值 主要分为 个模块分别是上采样核预测模块和特征重组模块 如图 所示上采样核预测模块对于形状为 的输入特征图首先利用一个 的卷积将通道数压缩为 然后利用一个 的卷积层来预测上采样核输入通道数为 输出通道数为 然后将通道维在空间维展开得到形状为 的上采样核最后对得到的上采样核利用 进行归一化操作使得卷积核权重为 特征重组模块中对于输出特征图中的每个位置将其映射回输入特征图取出以之为中心的 区域和预测出的该点的上采样核作点积最后得到输出值图 网络结构.模块的改进 模块是 网络中的一个重要模块由多个卷积层和残差连接组成位于 与 中起到连接和提取特征的作用 在 模块中加入 注意力机制使模型更聚焦于有效特征提高特征区分性和表征能力降低冗余信息增加对多尺度特征的关注提高模型的效率和泛化能力具体改进方式如图 所示图 注意力模块.损失函数的改进 使用 作为其损失函数它在计算边界框之间的距离时考虑了更多的因素如框与框之间的位置与大小关系从而可以更准确的衡量边界框之间的距离进而用于兵 器 装 备 工 程 学 报:/./目标检测任务中的模型训练 损失函数公式如下 ()()()()式()中:为权重系数()为预测框中心点与标签真实框之间的距离 为最小外接矩形的对角线长度 为预测框和真实框的纵横比差值若纵横比相同则 为 由于 中使用的纵横比是一个相对值在计算过程中会引入不确定性可能会阻碍模型的优化 因此本文中选用()作为新的损失函数基于 的纵横比进行分割用 个比率替代了预测框与真实框之间的原始长宽比差异一个是预测框与真实框之间的宽度差异与最小外接矩形的宽度之比另一个是高度差异与最小外接矩形的高度之比 这种方法可以得到更精确的边界框损失函数从而更好的优化模型 公式如下 ()()()()式()中:和 分别表示最小外接矩形的宽度和高度 实验结果分析.实验环境介绍本次实验的环境配置如表 所示表 实验环境配置 名称环境配置操作系统处理器 ()().显卡 机带.深度学习框架.集成开发环境.数据集与参数设置本文中采用 数据集该数据集于 年 月发布总共包含 张红外图像将其按照 的比例划分训练集与验证集 该数据集主要包括人、自行车、汽车、狗这 个类别但其中狗这个类别只有 张图像严重影响训练效果因此本文中只聚焦于人、汽车与自行车这 个类别 本文中训练参数设置为:优化器选用 图片分辨率设置为 设置为 初始学习率设置为.阈值设置为.动量取值为.训练轮次为 个.评估指标本文中采用准确率()、召回率()、()和 ()、()作为评估指标 准确率与召回率公式如下 ()()其中:表示正确检测的目标 表示错误的检测目标 表示未能检测到的目标 表示正确的错误目标 值指平均精度表示计算某一类 曲线下的面积对不同类别下的 曲线求积分即可求得相应类别的 值 是 值所有类别下的均值 与 公式如下()()().消融实验本部分以 算法为基准在此基础上对本文中提出的几种改进策略进行消融实验以更好地了解不同改进策略对检测效果的影响以以下 组方式进行消融实验并以、作为评估指标 其中“”表示实验中采用此方法结果如表 所示通过表 可以得出以下结论 组实验将 作为 的主干特征提取网络进行轻量化改进可以看出模型的参数数量与理论计算量得到了极大的减小参数数量减少了.理论计算量减少了.但同时模型的平均精度损失比较严重平均精度降低了.个百分点组实验将改进之后的 作为 的主干特征提取网络之后虽然模型的参数数量与理论计算量进行了小幅的增长分别增加了.、.但模型的平均精度也增长了.个百分点原因在于改进之后的模型在原模型的主干特征提取网络的 模块中加入了条形卷积的操作增强了模型对于条形检测目标的检测能力使得网络更好的捕捉图像的上下文信息进而加强模型的特征表达能力 由 实验与 实验的对比结果可以明显看出改进之前与之后的网络模型在检测平均精度上提升了.个百分点在参数数量与理论计算量上仅仅增加了.与 对比结果表明在参数量与计算量不发生太大变化的前提下 实验的特征提取能力优于 实验 实验在 实验的基础上采用了新的上采样模块 将低分辨率特征图增加到高分辨率中提高了分割模型对细节的敏感性实验结果显示此实验相比于 实验的平均精度增加了 个百分点参数数量增加了.理论计算量增加了.刘芷汐等:基于改进 轻量化模型的红外场景目标检测方法研究实验在以上实验的基础上对原有网络的 模块进行改进将 注意力机制添加到 模块中有助于模型更加关注有效特征增强模型对不同尺度的特征提取能力模型的平均精度提升了.个百分点参数数量保持不变理论计算量增加了.说明添加注意力机制对特征融合有一定改善效果 总体分析 组实验的结果与基准实验相比较平均检测精度下降了仅.个百分点而参数数量下降了.理论计算量下降了.模型在满足轻量化条件的前提下还保证了模型在平均检测精度上不会有太大损失满足了部署于边缘设备上的需求表 消融实验结果对比 模型平均精度.参数量/计算量/.不同模型的对比实验为了进一步验证 算法的检测性能将对目前主流的轻量化网络在相同数据集下进行训练和测试以各个类别的 值、值、作为评价指标其中 和 的 曲线如图、图 所示曲线与、轴围成的面积表示各个类别的 值图 曲线.图 曲线.通过表 可以看出本文中提出的 算法对比其他轻量化网络算法在 与 的检测类别中具有较好的表现效果其 与 类 值相比于 轻量化网络全部提升了.个百分点与 轻量化网络对比则提升了.、.个百分点说明了本文中对主干网络添加的条形卷积模块在检测条形目标时具有优良的效果在模型推理速度方面可以看到本文中算法的模型推理速度为每个样本 比其他轻量化算法中最优的 算法也要快 左右在模型的参数数量与理论计算量上虽然本文中提出的算法并不是其中最优的结果但参数量与计算量也处于其平均水平之间同时也保证了模型检测精度的优越性 算法与基准网络 相比平均检测精度降低了.个百分点模型参数数量减少了 模型理论计算量减轻了 同时模型每个样本的推理速度加快了 其他轻量化网络虽然有参数数量与理论计算量特别小的但其检测精度或推理速度都有较大损失 总体而言本文中对基准网络进行轻量化改进之后以更少的资源消耗和更好的实时性实现了更高的检测精度对与边缘设备的部署提供了可行性图 是本文中由改进前后的模型在 数据集中部分图像的检测结果由于其他轻量化算法检测精度较差因此本文只选择了、作为可视化效果的对比 从图 中可以看出在红外道路场景目标检测上具有一定领先优势在检测目标方面具有更高的置信度 另外从图 组观察可知 算法将路边护栏和一些树木误检测为了行人而其他 组算法则正确检测了目标在 组第 张图片中可以看到该算法将路边障碍物误检为车辆 组算法则避免了这个问题对于 组实验中的第 张图片可以看到 种算法检测结果基本保持一致都可以很好的检测道路场景中的汽车、行人、自行车 由于兵 器 装 备 工 程 学 报:/./本文中算法是轻量级网络模型在参数数量、理论计算量、模型大小等方面都优于其他 种算法所以本文中所提出算法更具有实际的应用价值可以更好的完成红外场景下道路目标检测的需求表 不同模型在 数据集的对比实验 模型精度.人自行车车平均精度.速度/(/样本)参数量/计算量/.图 不同模型测试结果对比.结论本文中提出 算法是一种轻量化的红外目标检测方法旨在确保在道路场景中具有良好的检测效果并且适用于边缘设备的部署 该算法首先使用轻量化网络 替代原有主干网络进行特征提取同时使用条形深度卷积注意力模块增强对红外道路场景中可能存在的条形目标的特征提取能力提高模型的检测精度此外采用 作为新的上采样算子将低分辨率特征图增加到高分辨率中引入了上下文感知机制帮助模型更好地理解图像中的语境信息使得在不显著增加计算复杂性的情况下提高模型性能最后在 模块中添加 注意力机制使模型更聚焦于那些对于当前任务特别有用的特征从而提高特征的区分性和表征能力减少那些不重要通道特征的权重从而降低冗余信息的影响进一步提高模型的检测性能 在刘芷汐等:基于改进 轻量化模型的红外场景目标检测方法研究 数据集上的实验结果表明 与 相比平均检测精度基本相同同时网络参数数量、理论计算量分别减少了、此外模型的每个样本推理速度提高了 使其更适用于边缘设备的应用参考文献:.:.():.:/.:.:/.:.:.:.:.:./.:/./.:.:.:/.:.:/:.:.林健张巍巍张凯等.基于 的红外目标检测算法.飞控与探测():.():.():.谌海云余鸿皓王海川等.基于改进 的红外目标检测算法.电子测量技术():.():.李云宋勇赵宇飞等.基于 和改进邻域判决的红外弱小目标检测算法.兵器装备工程学报():.():.樊俊良高永明吴止锾等.基于 的单帧红外小目标检测算法.兵器装备工程学报():.():./.:.:.:/().:.:/.:.:.科学编辑 郭强 博士(烟台大学)责任编辑 涂顺泽兵 器 装 备 工 程 学 报:/./