基于YOLOv7-tiny改进的口罩佩戴检测算法YOLOv7-DSC.pdf

第 卷第 期 年 月新余学院学报 ，基于 改进的口罩佩戴检测算法 陈辉，陈成（安徽理工大学计算机科学与工程学院，安徽淮南 櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆）摘要：针对密集人群下口罩佩戴检测实时性差、难以部署到移动端的问题，提出基于 改进的口罩佩戴检测算法 。该算法结合深度可分离卷积改进的 注意力机制设计了一种轻量化特征提取模块，并结合 设计了一种加权特征融合模块。经实验验证，算法在口罩数据集上 为 ，与 算法相比仅降低了 ；相比于 、和 算法在 上分别高出 、和 ；在检测精度与 算法相当的情况下，参数量和计算量分别减少了 和 ，仅为 和 ，极大地降低了硬件成本。关键词：口罩佩戴检测；轻量化网络；注意力机制；特征融合中图分类号：文献标志码：文章编号：（）櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆櫆 收稿日期：基金项目：国家自然科学基金项目“煤矿井下物联网感知层感控异构融合理论与技术基础研究”（）；安徽省重点教学研究项目“新工科背景下物联网工程专业实践教学体系构建研究”（）。作者简介：陈辉（），男，安徽淮南人，副教授，博士，主要从事深度学习、无线传感器网络、物联网技术及应用研究。目前，公共场所口罩佩戴检测一般采取图像分类 方法，这种方法具有准确性高、速度快等优点，但一次只能识别单个目标，对密集人群的识别并不适用。因此，采取目标检测算法对密集人群进行口罩佩戴检测很有必要。传统的目标检测大致分为区域选择、特征提取、分类器三个部分 ，其存在的问题主要有两个方面：一是滑框的选择策略没有针对性，容易产生过多冗余窗口；二是基于手动设置的目标检测相比基于深度学习的目标检测特征精度低、鲁棒性差。近年来，深度学习中的卷积神经网络在目标检测中的研究取得了重大进展，其主流算法主要分为二阶段检测算法和一阶段检测算法。二阶段检测算法的代表性算法有 、等，特点是精度高、速度慢。一阶段检测算法 的 代 表 算 法 有 算 法 、系 列 算法 ，特点是速度快，但精度稍低。相较于 算法，算法具有更快的检测速度，但对于实时检测的运用还有所不足。近年来，随着目标检测方法的飞速发展，有众多学者对 系列算法进行了改进。如程可欣等 将 中的边框回归损失函数替换为 ，提升了对小目标检测的准确率；程浩然等 将空间注意力机制应用到 中，提高了检测精度；彭成等 提出了基于 的轻量化算法，减少了算法的计算量和参数量，并且精度相比于原网络几乎无损；叶子勋等 将 原本的骨干网络替换为 ，在损失少量精度的前提下减少了算法的计算量；刘颖等 在 中加入双向弱光自适应网络模块，引入弱光特征，增强了算法在复杂环境下检测的鲁棒性；张欣怡等 在 中引入了轻量化鬼影混洗卷积（）并添加自适应空间特征融合，在提升算第 期陈辉，陈成：基于 改进的口罩佩戴检测算法 法检测速度的同时对不同尺度特征可以进行更好的融合；等 在 中引入了迁移学习和 并增加口罩佩戴检测数据集，增强了算法的泛化能力以及易过拟合的问题；等 基 于 改进，将损失函数替换为 ，考虑边界框中心点距离和边界框纵横比的比例信息，使得算法检测精度有所增加；等 将注意力机制引入 ，然后在主干网络中使用双尺度特征融合网络，以达到传递更有效信息的目的；等 设计了一种自上而下的聚合注意力并插入弱监督目标检测框架（）中，提出了一种相位感知损失函数，有 效 地 提 高 了 的 性 能；等 将 中的激活函数替换为 ，将原本的损失函数 替换为 ，提高了算法的泛化能力；等 将 主干网络替换为 ，加入 注意力机制，提高了算法检测精度和检测速度。以上算法在检测精度或者检测速度上都有所提高，但仍有提升空间。针对复杂场景下对密集人群口罩佩戴检测，本文以 作为基准算法进行改进，提出了一种在口罩佩戴检测任务上平衡了算法大小与检测精度的轻量化目标检测算法 （），通 过 优 化 算法，减少冗余参数，提高算法提取特征信息的能力，以及高级和低级语义信息的融合能力，在保持算法高精度的同时，降低算法复杂度。算法 算法是基于 （）提出的轻量化目标检测算法。相比于 ，其检测精度略有下降，但检测速度更快，可以满足一些移动设备和嵌入式设备检测的实时性要求。网络结构主要包括输入端（）、主干网络（）、颈部结构（）和检测头（）四部分。部分将输入的图像进行预处理，主要包括 数据增强、自适应锚框计算和将图像缩放到固定尺寸；部分主要是由多个 模块和最大池化下采样（）组合而成，模块是由多个 卷积层拼接而成，卷积层由卷积运算（）、批量归一化（，）和 激活函数组成，可以更好地提取图像特征；部分包括空间金字塔池化（）和 路 径 聚 合 网 络（，），模块可以增加深层网络的感受野，结构将自上向下和自下向上的两个路径上生成的三个不同尺度的特征图进行融合，产生三个不同尺寸的特征图输入到检测头；部分默认采用 作为边框损失函数，利用预测值和真实值的 （）进行非极大值抑制，去除错误的预测框，输出优化结果。网络结构如图 所示。图 网络结构图 算法在目前的公开数据集上的检测精度和训练所需时间方面优于其他轻量化算法，但在硬件要求、对小目标的检测精度、灵活性和检测速度等方面仍有改进空间。其主干网络中的 模块由普通卷积堆叠而成，在口罩佩戴检测运用中，存在部分目标丢失以及算法参数量较大的问题。因此，本文针对口罩佩戴检测对其进行改进。算法 改进的 网络本文在不降低 算法检测精度的前提下，为了减少算法参数量和计算量，提出一种基于 改进的 算法，其网络结 新余学院学报 年构如图 所示。其中 为改进后的基础卷积层，（）表 示 为 深 度 卷 积，（）为逐点卷积，为加入 注意力机制的基础卷积层，表示最大池化下采样，为上采样操作，为卷积拼接操作，为改进后的特征融合模块中的加权拼接操作。首先，为提升推理速度和降低参数量，引入深度可分离卷积替换 算法特征提取模块中的标准卷积。然后，结合 注意力机制，对特征提取模块的网络结构进行改进，在降低参数量和提升检测速度的同时提升算法对小目标特征的关注。最后，在 部分引入加权融合模块，提升算法对关键特征的感知能力。图 基于 改进后的 网络结构图 引入深度可分离卷积在深度学习中大量的标准卷积操作会带来大量的计算，使得推理速度下降。因此，针对 中的计算量大、特征提取速度较慢的问题，本文在 网络中使用深度可分离卷积代替标准 卷积。在检测精度几乎没有损失的情况下，使得参数量大幅度减少，进而使得算法推理速度加快，更易于布置在移动端和边缘端设备。标准卷积如图所示，深度可分离卷积是标准卷积的变换形式，如图 所示。图 标准卷积图 深度可分离卷积设输入特征图和输出特征图的尺寸分别为 和 。标准卷积核尺寸为 ，数量为，所有卷积核都要进行 次计算，所以总计算量为 。深度可分离卷积分为深度卷积和逐点卷积两个步骤，总计算量为两个步骤计算量之和。第一步，使第 期陈辉，陈成：基于 改进的口罩佩戴检测算法 用一个尺寸为 的卷积核，其计算量为 ；第二步，使用 个尺寸为 的卷积核，其计算量为 ；总计算量为（）。深度可分离卷积计算量和标准卷积计算量的比值如式（）所示。()（）由此可见，在算法中引用深度可分离卷积之后，计算量为原先的，大幅度降低了计算量，显著地减少了算法的复杂度并有效地提升了推理速度。引入 注意力机制模块 注意力模块（）是针对于通道的注意力机制，其结构图如图 所示，包括挤压（）、激励（）和特征加权三部分。挤压部分就是对输入的特征图进行平均池化操作，以获取每个通道的全局视野。输入尺寸为 的特征图，经过平均池化操作之后输出尺寸为 的特征向量。激励部分是由两个全连接层组成，第一层全连接层后连接 激活函数，第二层全连接层后连接 激活函数。为了减少参数量，在第一层全连接层中存在一个缩放参数 ，尺寸为 特征向量经过第一层全连接层后尺寸变为 （），再经过第二层全连接层后输出尺寸为 的特征向量。特征加权部分是将激励操作后得到的特征向量作为各通道的权重与尺寸为 的输入特征在对应通道上相乘最终获得大小不变的加权特征图。图 注意力机制结构图 改进的特征提取模块 原特征提取模块如图 所示。原主干网络特征提取模块由 个 标准卷积和 个 卷积拼接而成。这种多分支的残差结构使得算法提取特征能力增强，进而使得该算法检测精度增高。但随着网络深度的增加，网络训练的参数量随之增加，进而导致口罩佩戴检测的速度降低。将标准卷积替换为深度可分离卷积之后，参数量大幅减少，但检测精度也随之降低。由于多分支的残差结构会提取大量的无效特征，在使用参数量少的深度可分离卷积时更加明显。分支过多并不能增加算法的检测精度，反而会降低精度。因此，本文设计了一种新的特征提取模块 ，如图 所示。图 特征提取模块 新余学院学报 年图 新的特征提取模块 首先，经过 个 卷积层和 个 卷积层；然后，与一个经过 卷积层的分支拼接；最后，再经过一个 卷积层。卷积层由 卷积、层、模块、卷积、层和 激活函数构成。由全局平均池化层和两个全连接层组成，在两个全连接层后分别使用 激活函数和 激活函数，其计算公式如下所示。()，()（）()()（）()()（）其中 表示输入的特征值，由于 激活函数在输入值为负数是，输出总是 ，导致神经元不被激活；而 激活函数在输入值为负数时输出值不为，所以在深层网络中的效果优于原本的 激活函数。因此，使用 激活函数代替原本的 激活函数，可以提升 模块的特征提取能力。引入加权融合 算法将 模块在 中的各个阶段提取的特征在 （）中进行多尺度特征融合，其结构如图 所示。多尺度融合的目的是聚合不同分辨率的特征。在 算法中采用的是简单的拼接操作，没有区分输入特征的重要性，这种方式并不能很好地融合各个尺度的特征。为解决这个问题，本文结合加权双向特征金字塔 （，）引入加权融合模块。通过引入可学习的权值来学习不同输入特征的重要性，其结构如图所示。其流程为：对主干网络中不同特征层进行特征提取，输入到改进后的 网络中，结合可学习权重和上下采样，进行不同特征层的加权融合。图 原始 图 改进后的 加权本质就是加上一个可学习的权重，如式（）所示。但如果不对权重进行限制，容易导致训练不稳定，通常采取的方法是对每个权重使用 函数，如式（）所示。但这样会导致训练速度过慢，因第 期陈辉，陈成：基于 改进的口罩佩戴检测算法 此，本文采用快速归一化方法进行加权融合，计算公式如式（）所示。（）()()（）（）式中，表示输出特征，是为了避免分母为零而增加的一个极小的系数，和 为可学习权重，为输入特征。实验与分析 实验环境本文实验环境为 系统，为 核 （）（），为 ，显存为 ，编程语言为 ，深度学习框架为 ，并使用 和 加速训练，基准模型选择 的轻量化版本 。本文实验训练和测试的图像数据集格式为尺寸不等的 格式，将输入图像尺寸调整为 像素，设置为 ，总共训练 个 。实验数据集本文 数 据 集 主 要 来 自 （）数据集和 数据集的部分图片，在此基础上采用网络爬虫和实地拍摄对原数据集进行扩充，最终制成了一个包括佩戴口罩和未佩戴口罩两种目标类别、共有 张图片、共计 个目标的口罩佩戴检测数据集。其中包含常规、密集和遮挡等场景，以：的比例划分为训练集、验证集和测试集。数据集标签采用 的 文件格式。本文的口罩佩戴检测数据集的示例图片如图 所示。图 口罩佩戴检测数据集示例图片 评价指标本文将从精度和轻量化两方面对算法的性能进行评估，精度评价指标分为准确率（，）、召回率（，）、平均精度（，）。、的计算公式如下所示。（）（）()（）（）式中，表示被预测为正类的正样本，表示被预测为正类的负样本，表示被预测为负类的正样本；为精确率，表示在所有检测出的目标样本中检测正确的概率；为召回率，表示所有正样本中被正确识别的概率；为平均准确率，其值为 曲线与坐标轴围成的面积；表示 与 的平均值。其中 为目标检测中重要的性能评价指标。轻量化评价指标分为参数量（，）、计算量（）以及模型权重文件大小（）。模型训练与实验结果分析训练过程中的损失变化和 值如图 、图 所示。新余学院学报 年图 训练过程中的损失函数变化曲线图 训练过程中的 变化曲线从图 中可以看出，损失函数在较快的时间里收敛于较低值，这表明算法具有良好的收敛能力与鲁棒性。从图 中可以看出，改进后的算法迭代 次左右，以较快速率上升到 左右，最终收敛在 左右，证明该算法具有较快的收敛速度。为了综合测试本文改进的算法的检测效果，将本文算法 与 进行对比的同时，选取了当前主流的轻量化算法进行对比实验。实验结果如表 所示。表 不同轻量化目标检测算法在口罩数据集上的检测评价指标对比 参数量（）计算量（）精确率（）召回率（）平均精度（）（）通过表 可以看出，本文所提出的算法 的 、三个值略低于基准模型 ，但参数量和计算量均明显低于 ，算法参数量和计算量分别为 和 ，本文算法分别减少了 和 ，为 和 ；与 系列中其他的经典轻量化算法 、和 相比，本文算法在算法参数量和计算量更具优势的同时，的 为 ，分别提高了 、和 ；与当前最具代表性的轻量化网络 、和 相比，在保持低参数量和计算量的优势下，算法的 分别高出 、和 ；与采取编解码思想的 相比，本文算法在参数量只有其一半的的基础上，高了 。本文提出的算法在保持高检测精度的同时，大幅降低了参数量和计算量。系列由于采用了较大的卷积和步幅，导致检测结果的定位精度不够高，对于小目标的检测效果较差；、和 采用了深度可分离卷积、通道混洗技术和通道分离技术减少参数量，在网络深度较大时会导致梯度消失或梯度爆炸等问题，并且容易丢失关键语义信息；由于采用了编解码思想，所以不能很好地表征位置信息，获取局部信第 期陈辉，陈成：基于 改进的口罩佩戴检测算法 息的能力也不及 网络。本文使用深度可分离卷积降低算法参数量和计算量，改进了特征提取模块并加入 注意力机制，提升了算法对局部信息和位置信息的获取能力；采用 思想改进了 ，提升了算法对关键语义信息的关注度。综上所述，算法在轻量化方面上具有较大优势，并具备良好的检测精度。算法与 算法在口罩数据集的检测效果图，具体见图 。从检测结果可以看出，算法的检测效果与轻量化前的算法检测效果相当。图 算法与 算法检测效果可视化对比 消融实验为验证本文提出的各个模块对 的优化作用，课题组进行了消融实验，实验结果如表 所示。表 中 代表将普通卷积替换为深度可分离卷积，代表使用新的特征提取模块，代表加入改进后的 注意力机制，代表使用加权融合模块。由表 可以看出，算法的参数量和计算量分别为 和 ，将算法中的部分卷积替换为深度可分离卷积后，相较于改进之前分别下降了 和 ，但 下降了 ，算法参数量大幅降低的同时，检测精度也有所下降。针对此情况，再将 算法的特征提取网络进行修改，将 模块替换为提出的 模块，参数量和计算量下降为 和和 ，提升为 ，可以看出 模块与深度可分离卷积更加适配，在参数量降低的同时，检测精度也有所提高。但相较 算法还有差距，因此引入 注意力机制到 模块中，以增加算法对重要信息的关注度，参数量和计算量各增加 和 ，提升至 ，可以看出 注意力机制的引入对算法检测效果有着显著提升。最后将特征融合模块 加入权重，参数量和计算量分别提升 和 ，提升到 ，可以看出加权特征融合模块在几乎不增加参数量和计算量的同时，提高了算法检测精度。表 基于 改进的算法在口罩数据集上的消融实验结果 参数量（）计算量（）精确率（）召回率（）平均精度（）结语针对传统算法参数量和计算量大、无法做到实时性检测以及难以部署到边缘端等轻量化目标检测的问题，本文提出了一种基于 改进的 新余学院学报 年 检测算法。本文的主要贡献有：（）引入深度可分离卷积，优化特征提取网络和压缩模型，减少参数量和计算量。（）改进 注意力模块，将 模块中的 激活函数替换为 激活函数，提升 模块在深层网络中的效果。（）改进主干网络，去除主干网络中冗余分支，并加入改进后的 注意力模块，提升算法对关键信息的关注度。（）改进 模块，将融合的语义信息分别加上可学习权重，优化特征层之间的特征融合，在几乎不增加计算量的前提下，提升了检测精度。实验结果表明，本文提出的 算法在几乎不损失检测精度的基础上，参数量和计算量上优于 算法和主流轻量化目标检测算法。下一步将通过扩充数据集并增加未正确佩戴口罩的类别，以提高算法在实际应用中的泛化能力。参考文献：郑远攀，李广阳，李晔 深度学习在图像识别中的应用研究综述 计算机工程与应用，（）：杜紫薇，周恒，李承阳，等 面向深度卷积神经网络的小目标检测算法综述 计算机科学，（）：，：，：，：，：，（）：，：（），：，：，：，：，：，：，：，：程可欣，王玉德 基于改进 的自然场景人员口罩佩戴检测算法 计算机系统应用，（）：程浩然，王薪陶，李俊燃，等 改进 的疫情协同口罩佩戴检测方法 计算机工程与应用，：彭成，张乔虹，唐朝晖，等 基于 增强模型的口罩佩戴检测方法研究 计算机工程，（）：叶子勋，张红英 口罩检测算法的轻量化改进 计算机工程与应用，（）：，：，：刘颖，张雪松，刘吉越 基于 目标检测算法的口罩佩戴检测系统设计 单片机与嵌入式系统应用，（）：张欣怡，张飞，郝斌，等 基于改进 的口罩佩戴检测算法 计算机工程，（）：，：，：，：，（）：，：，第 期陈辉，陈成：基于 改进的口罩佩戴检测算法 ，：，（）：，（）：，（）：，：，：，：（）：，：，：，：，：，：，：（）：，：，：，：（责任编校：任华），（，）：，；，：；