基于切片推理的小目标检测技术研究.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:西安市科技计划项目()作者简介:刘玉雯()女硕士:.:./.基于切片推理的小目标检测技术研究刘玉雯刘文逸唐云龙彭 沛何维真韩星烨(西北机电工程研究所 陕西 咸阳)摘要:针对高分辨率图像中小目标识别精度低且漏检率高的问题从模型训练和预测角度包含特征融合、预测框定位损失函数和检测网络 个方面进行优化提出一种基于切片推理的改进 算法 将 模块添加到特征融合网络中通过扩张卷积提升特征感受野尺度增强了小目标及其相邻像素的上下文学习效果使用 损失函数替换原 损失函数将预测框与真实框的宽高差异最小化更加关注有效目标的预测结果提升了预测框定位精度和损失函数的收敛速度在检测网络中添加 算法利用切片思想放大局部特征并对切片结果分别进行预测提升了图像局部特征的检出效果降低了小目标的漏检率 经实验对比本文中改进算法能够有效提取深层网络中的小目标特征相比于原 算法边界框定位损失明显下降且收敛较快小目标识别准确率提高了.小目标检出率增加为原来的 倍能够有效应用于高分辨率图像的小目标检测任务关键词:目标识别小目标检测特征融合切片推理损失函数本文引用格式:刘玉雯刘文逸唐云龙等.基于切片推理的小目标检测技术研究.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()():.:引言目前无人机相关技术发展迅速无人机以其小巧灵活、高效可控、续航能力不断加强的显著特点广泛应用于民用航拍、军事侦察、农业监测等领域 在航拍视角的目标检测中其飞行高度越高高分辨率成像画面中的目标占比越小而且成像过程中的光照变化、遮挡、背景复杂等因素都会增加目标检测的难度 相比于常规尺寸的目标小目标及微小目标相对于整幅图像占比较小特征不明显且易受环境变化的干扰存在漏检、误检的现象使得小目标的检测精度仅为大目标的一半 因此通过增加多种小特征提取方法及模型优化策略从而提升小目标识别准确率是当前目标检测领域的一大研究热点目前的小目标检测算法主要从多尺度学习、数据增强、训练策略、注意力机制、基于上下文检测的角度进行算法改进 年针对小目标的数据预处理技术中 增强将 幅不同图像拼接成原图像尺寸输入识别网络在不改变输入图像尺寸的情况下增加了图像中的目标数量 增强通过复制粘贴的形式将复制后的目标分布于图像任意位置 增强将多幅图像进行直接融合增强后的图像是多幅图像相嵌的结果这些预处理技术都是通过增加样本数量来提升网络学习效果并未提升对小目标的特征提取能力 年郑晨斌等为增强小目标与周围像素的交互学习提出一种增强低层网络特征输出获取更多上下文信息的强化模型提升了小目标特征的提取效果 年赵亮等针对小目标所占像素较少可能随网络层加深特征减少甚至缺失的问题提出一种全局与局部图像特征自适应融合的小目标检测算法利用特征选择模块对图像的不同输出进行融合提高了小目标检出率 年谢椿辉等通过对特征提取模块设计注意通道机制及优化损失函数的方式对 算法进行改进能够有效适配航拍小目标检测需求本文中针对航拍视角下小目标所占像素较少在高分辨率成像中识别精度较低且易漏检误检的问题结合小目标的先验框尺寸及成像特点对 进行改进并添加辅助预测机制 使用基于上下文增强算法增加有效特征层对局部特征的学习减少小目标的特征缺失使用优化后的边界框损失函数使网络更加关注有效目标提高小目标的定位精度使用切片辅助推理算法增加检测网络感受野减少局部小目标的漏检率 本文中提出的基于切片推理的改进 算法从特征网络提取和目标检出 个角度对网络模型进行优化是一种高效识别小目标的算法模型 基于航拍视角的小目标分析小目标通常是指在成像画面中占比较少、特征不显著且难与背景有效区分的目标 当前的目标检测领域并未对小目标进行明确划分定义标准分为绝对尺度和相对尺度 因目标识别网络需要构建有效特征层通常是以原图像尺寸为标准进行缩放其中最大缩放比为 倍下采样故绝对尺度定义目标所占像素小于 区域即为小目标 国际光学学会认为应按照目标的实际成像比例进行划分即绝对尺寸定义目标像素面积占比小于.确定为小目标 上述是 种常规定义还有根据面积中位数占比、目标先验框占比进行小目标划分 小目标在航拍成像中的分布情况如图 所示 图中的航拍图像源于 数据集图中的矩形框代表小目标在图像中的定位结果矩形框左上角的数字代表预测类别该数据集共有 个类别分别对应 的数字 图中识别结果主要是数字 和 分别代表预测类别结果为行人和汽车图 航拍小目标实际分布情况.根据图 的分布结果小目标在航拍成像中是真实存在且大量分布的图中也出现了小目标集中分布、遮挡、与背景兵 器 装 备 工 程 学 报:/./区分度低、环境光照变差等外在变化的情况这些影响因素都会增加小目标标注及特征提取的难度 随深度神经网络层数的加深有效特征层中包含小目标的信息随之减少网络学习小目标的能力逐渐减弱从而导致检测网络对小目标的识别精度变差以 航拍数据集为例将代表目标尺寸的先验框与原图像在宽、高方向分别进行比例分布统计目标尺寸在原图的占比结果如图 所示图 数据集先验框分布.由图 结果可知 数据集中的多数目标所占像素较少尺寸分布大多小于原图的.该数据集是航拍图像的典型代表其中小目标分布较为集中存在背景复杂难与目标有效区分的现象故不适用于常规检测网络需要针对小目标进行算法优化提升模型训练时对小目标的关注度及模型验证时对小目标的检出率综上所述为解决航拍视角中小目标尺寸较小、特征信息不明显、环境适应性差的问题应在模型设计中增加对小目标的特征学习关注代表小目标的浅层网络通过辅助推理等方式提升小目标的识别效果基于小目标的 目标检测识别算法.目标检测识别算法基于深度学习的目标识别算法根据检测流程设计的不同可分为一阶段和两阶段网络模型由于检测任务对识别算法实时性的要求使算法优化工作更加偏向于对端到端学习的一阶段算法进行设计改进 针对小目标检测识别的算法对同属于一阶段算法的 网络和 网络的优化改进研究较多其中 算法的模型设计较为复杂涉及多重卷积嵌套叠加而 网络的模型设计较为简明只需在主干网络中提取 个尺度的有效特征层进行预测并在有效特征层之间进行信息融合使每个特征层都包含多层图像信息有利于网络整体适应于高分辨率图像及多尺度目标的学习从而提升检测网络的识别精度 是目前系列算法较先进且稳定的算法网络结构如图 所示图 网络结构图.刘玉雯等:基于切片推理的小目标检测技术研究 如图 所示 主干网络为 其中包含卷积层、归一化层、激活层及 的 大残差模块 内部使用 、大小的卷积核构成残差边用于构建深层网络 主干网络中使用多组卷积与 结合再通过残差减少因网络层数增多带来的过拟合问题 是在 的基础上进行改进其不同之处在于 将 结构放在主干网络的底部将多尺度卷积核应用于构建有效特征层中 在特征金字塔构建时先使用 进行特征融合再进行上采样、下采用操作最大限度保留本层特征并传入检测网络.针对小目标的 改进策略.使用 模块增强上下文交互因 中 个特征图尺度为 、分别代表小目标、中目标和大目标所以浅层网络中包含更多的小目标信息通过提高浅层网络特征提取或增加浅层网络特征融合是针对小目标特征提取的有效手段 文中提出将基于上下文增强的 模块添加到 特征融合网络中可有效解决小目标特征分散、特征层间语义信息差异较大的问题 模块结果如图 所示图 模块结构.如图 可知 模块中的扩张卷积以其特有的扩张倍率将标准卷积进行扩张放大在不改变特征图尺度的前提下扩张共享卷积核尺度增大卷积核的感受野 为保证对特征图的全局扫描使用扩张倍率为、的 个 大小卷积核将特征图进行多尺度提取再通过不同的融合策略将特征提取结果进行合并 模块包含 种融合机制分别是相加()、拼接()和自适应融合()种融合结构如图 所示 如图 所示相加和拼接 种融合机制先通过 个 卷积调整特征图的通道数再在维数或通道数方面进行特征融合自适应机制通过卷积、拼接和 函数获得自适应权重再以跳接的方式进行融合图 模块融合机制.优化边界框定位损失函数边界框定位损失是预测框与真实框差异的回归计算结果代表模型对目标识别输出结果的定位精度通常使用交并比()作为 个矩形框差异的衡量标准 常见的、函数针对矩形框间面积或中心点欧式距离进行改进训练结果存在回归收敛慢、训练结果不均衡等问题 的边界框损失函数为 该函数在 基础上增加了两矩形框间的长宽一致性对比如式()所示:()()()式()中:判断预测框与真实框的长宽比是否一致若一致结果为 表示为权重系数小目标尺寸较小对预测框的定位精度要求更高故文中使用 损失函数对小目标的边界框定位损失进行改进 函数是将预测框与真实框的宽高差异最小化将长宽比的影响因子拆开计算从而产生更好的收敛速度和定位结果 函数是解决训练样本不平衡的问题利用长尾数据分布规律把高质量的先验框和低质量的先验框分开增加回归误差较小的预测框对结果的占比 将二者结合后 函数如式()所示:()()()()()兵 器 装 备 工 程 学 报:/./式()中:为 损失为距离损失为方位损失为控制异常值抑制程度的参数.检测网络添加切片辅助推理小目标是由少量像素构成缺乏足够的细节特征传统检测网络易忽视局部小目标故提出使用切片辅助推理检测网络提高小目标检出效果 切片辅助推理()是一种通过切片辅助推理和管道微调的高效检测网络通过对图像进行重叠切分使得小目标相对于原输入图像产生较大的像素区域有利于提升对局部小目标的关注从而减少小目标的漏检率 辅助切分原理如图 所示 由图 可知 的切片推理过程先将原图进行切片划分并限制切片步长即切片区域在原图中的滑动设置再将切片结果进行相同宽高比例的区域分割分割后的切片结果相互独立最后根据分割结果分别进行预测因滑动切片处理会使预测结果出现重复所以需要使用非极大值抑制算法对重复预测区域进行筛选合并再还原至原图尺寸得到最终的推理预测结果 使检测网络对图像特征扫描更加细致增强了局部区域中小目标的特征检出能力是一种高效的基于局部信息增强的小目标检测算法.改进的 结构 的网络结构主要考虑常规目标的检测精度及模型泛化性应用并未过多关注目标尺度的极限情况所以模型训练的收敛方向更倾向于中大尺度目标小目标会因其特征提取不充分、训练数据不平衡等因素在识别结果中表现较差 改进后的 模型如图 所示图 切片辅助推理原理图.图 改进的 模型.刘玉雯等:基于切片推理的小目标检测技术研究 图 中 主干网络输出 、大小的 个尺度特征层根据上、下采样等特征融合方式输出 即代表小、中、大尺度的包含浅层特征和语义信息的有效特征图将代表稀疏特征提取的 模块添加至特征融合的前端使小目标特征提取更具泛化效果 表示模型的预测阶段包含真实标注结果与模型预测的差值、预测类别置信度等输出结果的计算和表示 在预测阶段添加 的切片推理通过放大局部特征的像素占比提升小目标的检出率在预测结果评估阶段添加改进的 函数在模型参数迭代更新中提高预测框的定位精度.目标识别算法评价指标)()、()、均代表目标识别准确率 是相对单类目标的识别精度 是多类目标的识别精度取均值 在模型训练时可能存在正负样本不均衡或某类目标分布较多的情况导致识别结果出现某类目标 较高而整体 较低的情况故在分析网络模型性能时应根据数据分布情况选择合适的识别精度评价指标进行结果的总和分析)准确率()和召回率()准确率是真正的正样本数除以检测的总数如式():()召回率是预测为正例的样本中预测正确的数量除以真正的正样本数量如式():()实验分析.实验平台搭建及数据集预处理本次网络构建基于 .和 .框架搭建在 显卡和 的配置环境下完成训练和测试 文中的对比实验采用公开数据集 进行训练网络抓取 数据进行算法验证测试在数据集预处理阶段对 训练集的先验框大小进行聚类其中不同颜色区域代表不同的聚类结果颜色区域分布越广代表数据在该聚类中心的结果越集中聚类中心即聚类结果根据数据分布进行更新如图 所示 得到 种不同比例和尺寸的 个结果()、()、()、()、()、()、()、()、()根据聚类结果可知小目标先验框尺寸较小与 中默认设置的先验框相差较大为使预测结果更加符合小目标真实尺寸在模型训练前将先验框聚类结果进行替换使模型在训练学习中更倾向于小目标分布图 数据集先验框聚类结果.训练参数对比为验证 模块中多尺度扩张卷积对小目标局部特征的提取效果从特征提取和特征融合 个角度分别进行基于 的改进对比实验 对比实验模型参数如表 所示表 模型参数对比 结构模块算法主干网络 .特征网络 .表 记录了实验中各模型参数变化情况使用模块参数和算法参数对比各改进模块对 模型运算的影响其中 表示神经网络层数 表示模型计算复杂度在主干网络中将 替换 对比 种模块实验参数可知 的参数量较大算法复杂度较高对比 的 种融合方式 和 都是在维数或通道进行拼接参数量和模型结构一致 包含残差结构模型参数量大算法层数较多根据参数数据及算法计算复杂度对比可知在主干网络中使用残差结构进行多层特征提取将改进模块放置于融合网络的处理方式能够增强目标特征表达且改进后的融合网络与原算法相比模型参数差异较小是一种参数量变化较少的改进分支结构.损失值对比边界框回归结果是衡量目标定位精度的关键基于 算法的损失值包含置信度损失、分类损失和定位损失如式()所示:()()()()()兵 器 装 备 工 程 学 报:/./式()中:、为平衡系数、分别为置信度损失、分类损失和定位损失 置信度损失用于模型判别目标与背景分类损失用于判别目标是否属于该类型定位损失用于判别模型预测结果是否准确采用批梯度下降的方式对 在主干网络和融合网络改进的多种结构分别进行训练 对 中的训练集和验证集进行随机组合随机选取 作为训练集每次训练进行 次迭代批量大小设置为 初始学习率为.权重衰减为.不进行额外数据增强处理 使用 默认损失函数以 个 为例进行对比 种损失函数对比结果如图 所示图 边界框损失函数对比.图 中“”为本文中的改进框架可见几组改进结构对于目标分类较为准确边界框损失基本在 个 趋于稳定而本文中提出的改进方式收敛速度最快在 个 趋于稳定置信度损失函数中前 个的数值变化剧烈本文中的改进算法在 个 时存在小幅波动后趋于稳定边界框定位损失中各改进方式的变化趋势较为相似基本在.左右收敛结束 因此将 模块添加至 特征融合网络并使用“”融合方式在检测网络的损失函数中收敛最快数据波动较小另外针对小目标进行了边界框定位损失函数优化采用 替代 函数分别对比、及 在 改进框架中的损失值收敛效果如图 所示图 改进算法边界框定位损失函数对比.由图 可知边界框定位损失函数为 或 函数收敛变化差异较小而 在训练初始阶段的损失值明显下降且随迭代次数的增加趋于稳定 综上 适用于改进后的网络结构且提升了数据集中小目标的定位精度.识别结果分析.数据集识别结果分析因 数据集包含 个类别且各类样本分布不均选取数据集中目标分布较多的 个类别进行识别效果对比将 阈值均设置为.选取 的数据进行验证使用目标识别评价指标对改进结构的目标识别效果进行对比各类目标识别结果如表 所示表 目标识别结果对比 算法/(小车)(行人)(卡车)(摩托车).从表 可知改进算法()的识别准确率最高在检测小车()、行人()、卡车()、摩托车()等小目标的效果上提升明显对比原 模型分别提升了.、.、.、.对比数据集全类别的 曲线变化可以看到小车的准确率和召回率结果最优对改进算法的应用效果最好如图 所示刘玉雯等:基于切片推理的小目标检测技术研究图 改进算法在 数据集的 曲线.综上可见改进算法相比于原 识别准确率明显提升尤其是小车这种目标分布较多且特征显著的类别改进算法的特征提取能力较强且训练效果最好.小目标检出结果分析为了验证本文中提出的在检测网络中添加 切片辅助推理算法在高分辨率图像中小目标的检出率方面的提升效果在网络中抓取 分辨率的 视频数据将切片重叠率设置为.切片步长为 切片宽高比一致并使用 筛选重叠率高的检测框 将原 检测网络及本文中改进检测算法进行对比识别结果如图 所示图中矩形框及标号代表了算法预测结果依据数据集的数字类别对应关系在图中直接进行类别显示和置信度标注如“.”代表算法预测图中的小目标类别为汽车且该目标为汽车的置信度概率为.图 检测网络识别结果对比.由图 可知在同帧图像中原 检测网络识别出 辆小车未识别出行人改进检测网络识别出 辆小车和 个行人 可见改进的检测网络对于高分辨率中的小目标检出效果较好使图中右上角容易被忽视的行人及左上角远处的车辆通过切片的方式使网络能够检测识别局部区域内的有效目标提升了整幅图像中小目标的检出率且在同一位置的目标识别精度有所提高证明了本文中改进算法能够有效提升小目标检测效率 结论本文中的改进算法从模型特征融合、目标矩形框定位及目标检出率 个方面进行优化使用公开数据集进行算法对比验证实验结果证明了本文中的改进算法在小目标检测精度及检出率方面均优于原 算法是一种针对小目标的高效识别检测网络)根据高分辨率图像中小目标先验框宽高占比验证了小目标是大量分布且像素占比仅为.左右通过对目标数据集先验框尺寸聚类得到符合该数据集的 个聚类结果并将其应用于模型训练中)本文中改进算法在特征融合中使用 模块提升了局部特征感受野增强了小目标与其周围像素的交互式学习在目标矩形框定位中使用 损失函数增加了有效识别结果的关注度显著提升了图像中小目标的定位精度使得单类别识别精度提升.)将 辅助推理算法应用于检测网络中通过切片的方式增加局部区域中小目标的检测效果 通过与原 检测网络的对比小目标检出率提升为原来的 倍参考文献:江波屈若锟李彦冬等.基于深度学习的无人机航拍目标检测研究综述.航空学报():.:.():.耿创宋品德曹立佳.算法在目标检测中的研究进展.兵器装备工程学报():.():.:.:.王建中王加乐于子博等.士兵和装甲车目标多尺度检测方法.北京理工大学学报():兵 器 装 备 工 程 学 报:/./.():.郑晨斌张勇胡杭等.目标检测强化上下文模型.浙江大学学报(工学版)():.()():.赵亮刘世鹏.全局与局部图像特征自适应融合的小目标检测算法.控制与决策():.():.谢椿辉吴金明徐怀宇.改进 的无人机影像小目标检测算法.计算机工程与应用():.():.高新波莫梦竟成汪海涛等.小目标检测研究进展.数据采集与处理():.():.:.:.:.:.:/.:.李子豪王正平贺云涛.基于自适应协同注意力机制的航拍密集小目标检测算法.航空学报():.():.沈翔.基于 的小目标检测提升方法研究.南京:南京邮电大学.:./().:.科学编辑 李月琴 博士(北京联合大学 副教授)责任编辑 胡君德刘玉雯等:基于切片推理的小目标检测技术研究