基于改进YOLOv5的皮革瑕疵检测算法.pdf

第 49卷 第 8期2023年 8月Computer Engineering 计算机工程基于改进 YOLOv5的皮革瑕疵检测算法刘俊豪1，王美林1，谢兴1，宋烨兴1，许莉花2（1.广东工业大学 信息工程学院，广州 510006；2.西昌学院 机械与电气工程学院，四川 西昌 615000）摘要：皮革瑕疵检测是工业皮革生产行业中质量控制的重要环节，针对工业皮革瑕疵在线检测中存在计算复杂度 高、对 小 目 标 检 测 效 果 差、数 据 样 本 少 等 问 题，提 出 一 种 基 于 注 意 力 机 制 的 轻 量 化 皮 革 瑕 疵 检 测 算 法GPC-YOLOv5。使用工业相机采集瑕疵图片并对其进行标注，制作瑕疵数据集，利用 YOLOv5s 模型进行目标检测。使用 ImgAug数据增强技术扩充原始数据集的数量，并在训练过程中结合 Mosaic数据增强方法解决数据样本少的问题。在 YOLOv5的基础上，使用轻量化的 GhostNet模块替换主干网络和颈部的卷积模块，有效减少模型的参数量和计算量，通过改进激活函数减少网络复杂度并加快计算速度，以满足实时性需求。在主干网络中加入新型注意力机制 Polarized Self-Attention 模块，增强网络对于小目标瑕疵的特征提取能力。实验结果表明，相比YOLOv5，GPC-YOLOv5算法的参数量和计算量分别减少 25.4%和 28.5%，总体 mAP达到 89.2%，能够有效提高检测精度并加快检测速度。关键词：皮革瑕疵；轻量型 YOLOv5算法；注意力机制；深度学习；目标检测开放科学（资源服务）标志码（OSID）：中文引用格式：刘俊豪，王美林，谢兴，等.基于改进 YOLOv5 的皮革瑕疵检测算法 J.计算机工程，2023，49（8）：240-249.英文引用格式：LIU J H，WANG M L，XIE X，et al.Leather defect detection algorithm based on improved YOLOv5 J.Computer Engineering，2023，49（8）：240-249.Leather Defect Detection Algorithm Based on Improved YOLOv5LIU Junhao1，WANG Meilin1，XIE Xing1，SONG Yexing1，XU Lihua2（1.School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，China；2.School of Mechanical and Electrical Engineering，Xichang University，Xichang 615000，Sichuan，China）【Abstract】In the industrial leather production industry，leather defect detection is an important part of quality control.Aiming at the problems of high computational complexity，difficulties in small target defect detection，and few data samples，this study proposes an improved lightweight leather defect detection algorithm based on attention mechanism，GPC-YOLOv5.Defect pictures are collected using an industrial camera；whereby the images are annotated to create a defect dataset，and use the YOLOv5s model for object detection.The number of original datasets are expanded to solve the problem of few data samples using the Mosaic method combined with ImgAug data augmentation in the training process.The lightweight GhostNet module replaces the convolution module of the backbone network and neck in YOLOv5，thereby effectively reducing the number of parameters and computation load of the model.The network complexity reduces and calculations accelerate because of improving the activation function and real-time requirements are satisfied.The feature extraction ability of the network for small target defects is enhanced by adding a new attention mechanism，Polarized Self-Attention module，to the backbone network.The experimental results show that compared to YOLOv5，the GPC-YOLOv5 algorithm reduces the number of parameters and computation load by 25.4%and 28.5%，respectively，with an overall mean Average Precision（mAP）of 89.2%，effectively improving detection accuracy and accelerating detection speed.【Key words】leather defect；lightweight YOLOv5 algorithm；attention mechanism；deep learning；object detectionDOI：10.19678/j.issn.1000-3428.0064587基金项目：国家自然科学基金（U1701266，62002069）；广东省科技计划（2019A050513011）；广州市科技计划（202002030386）。作者简介：刘俊豪（1997），男，硕士研究生，主研方向为计算机视觉；王美林，副教授、博士；谢 兴、宋烨兴，硕士研究生；许莉花，本科生。收稿日期：2022-04-29 修回日期：2022-06-17 Email：开发研究与工程应用文章编号：1000-3428（2023）08-0240-10 文献标志码：A 中图分类号：TP391.41第 49卷 第 8期刘俊豪，王美林，谢兴，等：基于改进 YOLOv5的皮革瑕疵检测算法0概述我国是皮革制造大国，2021 年皮革行业出口总值达到 849.21 亿美元，与 2020 年相比增长 32.1%，皮革的生产对于我国的经济发展十分重要。皮革的质量检测是皮革生产过程中的重要环节，常见的检测方式是人工对产后的皮革进行检测，这种方法主观性强，存在人为出错、效率低等问题，并且具有滞后性，无法及时调整生产过程，容易造成生产浪费。产中的在线检测是在生产过程中实时监测皮革品质，并及时进行调整，从而减少浪费。因此，皮革产线需要实现在线实时检测，以减少生产损失，提高皮革生产效率，但是不同类型皮革的纹理有很大差异，从复杂的纹理背景中检测缺陷并且保证在线实时检测是一项具有挑战性任务。为解决人工检测效率低、费时费力的问题，研究人员提出使用图像处理技术检测皮革瑕疵。在基于图像阈值分割技术的方法中，文献 1 提出基于图像梯度的检测方法，文献 2 使用灰度直方图分析图像，提出通过图像阈值和分割技术提取皮革瑕疵特征的方法。文献 3 使用多阈值彩色图像的方式分割皮革瑕疵。在基于灰度统计的方法中，文献 4 介绍了使用灰度共生矩阵（Gray-Level Co-occurrence Matrix，GLCM）的方法，文献 5 提出使用傅里叶变换的方法，文献 6 介绍使用 Gabor 变换的方法，文献 7 介绍使用小波变换的方法。传统图像技术通过阈值分割和统计的方式完整地提取瑕疵特征，但是这种方法通常适用于特定场景，并且计算成本高，将该方法部署到实际场景中存在一定的局限性，无法满足背景复杂、场景实时化的需求。为克服经典图像处理方法的局限性，研究人员提 出 将 人 工 神 经 网 络（Artificial Neural Network，ANN）和机器学习（Machine Learning，ML）引入到自动检测领域中。文献 8 介绍了使用 ANN 提取皮革瑕 疵，文 献9使 用 支 持 向 量 机（Support Vector Machine，SVM）的方法，文献 10 使用随机森林的方法，通过机器学习方法实现的模型分类性能主要取决于特征表示能力，当提取的特征无法表示不同类型目标之间的差异时，模型的分类性能会降低11。深度学习（Deep Learning，DL）的特征提取能力在机器学习的基础上得到进一步提升。为获得更优的检测效果，研究人员使用深度学习方法检测皮革瑕疵。文献 12 通过修改预先训练好的 AlexNet体系结构，实现平均像素精度为 99.82%的皮革缺陷分类 与 分 割 方 法。文 献13使 用 生 成 对 抗 网 络（Generative Adversarial Network，GAN）生成缺陷数据集，以解决小样本的问题，再使用 Faster-RCNN 进行 检 测，实 现 最 佳 mAP 为 95.48%、检 测 时 间 为198 ms的织物瑕疵检测算法。文献 14 提出一种结合高光谱目标检测和深度学习的高光谱皮革缺陷检测算法 HLDDA，从高光谱角度提取缺陷特征，模型的 ACC 评价指标大于 0.9。该类深度学习算法具有较高的模型精度，但是需要的训练样本多、检测速度较慢，难以部署到在线检测的工程项目中。为实现更快的检测速度，研究人员提出单阶段检测器，单阶段检测器根据回归的思想，使用一阶网络直接完成物体检测，检测速度得到大幅提升。文献 15 提出一种基于多尺度融合的改进 SSD 小目标检测算法，通过设计融合模块代替 Top-down 结构，结合 SSD-VGG 16 扩展卷积特征图以提取多尺度特征，检 测 精 度 为 78.2%，检 测 速 度 为 51 帧/s。文献 16 基于 YOLOv3，使用轻量化网络 MobileNetV3作为特征提取网络，引入焦点损失函数，同时改进多尺度特征融合网络，最后使用 K-Means 聚类算法优化初始锚框，实现平均检测精度为 80.1%、模型大小为 101.8 MB 的织物瑕疵检测算法。文献 17 基于YOLOv4，使用 MobileNetV2替换主干网络并引入新型注意力机制 CoordAttention，在减少模型参数量的同时增强对小目标瑕疵的特征提取能力，使用 ASFF改进路径聚合网络（PANet）结构，使用 K-Means+替换原先的 K-Means算法，并且采用 Focal Loss修改模型损失函数，进一步提升模型精度，实现 mAP 为91.67%、检测速度为 26帧/s、模型大小为 55 MB 的织物瑕疵检测算法。单阶段检测器模型具有更快的检测速度，但是降低了模型精度。如果将模型部署到实际产线中就可以实现在线实时检测，但还需要进一步提高检测速度和模型精度。针对实际皮革纹理复杂精度低、产线上在线实时检测的需求，本文将目前主流算法 YOLOv5 应用到皮革瑕疵检测中，提出一种精度高、所需标注样本少、检测速度快的实时缺陷检测算法 GPC-YOLOv5。该方法引入轻量化模块进行模型剪枝，以减少参数量，通过改进激活函数来减少计算量，使用 ImgAug和 Mosaic技术进行数据增强，解决样本少的问题。1YOLOv5结构YOLOv5 是在 YOLOv3 和 YOLOv4 的基础上不断改进的模型。相比 YOLOv4，YOLOv5 在骨干网络部分增加了 Focus 结构用于切片操作，将输入的3640640 的图片转换成 12320320 的特征图，将输出的深度提升 4倍，保留更多的图像信息，还引入C3模块来加强不同层之间的特征融合。YOLOv5目前有 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 这4 种网络模型，其中，YOLOv5s 模型规模是最小的，其他模型可以通过调节深度、宽度参数来获得18。YOLOv5模型结构如图 1所示。2412023年 8月 15日Computer Engineering 计算机工程YOLOv5网络结构分为骨干网络（Backbone）、颈部（Neck）、预测部分（Prediction）。Backbone 部分由Focus结构（在V5.0版本中使用Conv结构以减少计算量）和Conv、C3、SPPF结构组成。Conv为YOLOv5的基本卷积单元，包括卷积、批量归一化、激活函数 3部分。Bottleneck是经典的残差结构，原始值与经过2次卷积操作后的输出进行 Add操作，以输出最终结果。C3 由 3 个 Conv 结构和若干个 Bottleneck 结构组成。Neck 部 分 由 特 征 金 字 塔 网 络（Feature Pyramid Network，FPN）与PANet结构构成，这种组合实现高层特征与低层特征的融合，强化模型提取特征的能力。Prediction 由 Detect 组成，并且采用 CIoU（Complete-IoU）作为损失函数，在目标检测的后续处理过程中，采 用 非 极 大 值 抑 制（Non Maximum Suppression，NMS）对多个目标锚框进行筛选。2模型结构与优化本节基于 YOLOv5结构，针对皮革背景复杂、在线实时检测等需求，引入轻量化网络和注意力机制模块，并改进激活函数和损失函数，构建一个 GPC-YOLOv5的网络模型结构。2.1GhostNet卷积模块针对皮革产线在线实时检测的时效性需求，本文使用 GhostNet19替换卷积和 C3 模块来减少模型参数量和计算量。图 2所示为使用常规卷积得到的特征图。在皮革瑕疵检测中，使用常规卷积会产生大量重复的特征图。这些冗余的特征图对于精度的提升作用有限，但是会增加模型参数量并延长训练和推理的时间。假设输入数据的特征图为c h w，输出的特征图为n h w，卷积核大小为k k，使用常规卷积的计算量为n h w c k k。文献 19 介绍了 GhostNet模块由 Ghost卷积组成，Ghost 卷积首先使用常规卷积生成 m 维特征图（mn），然后使用一系列简单线性生成 Ghost 特征图，最后通过拼接得到输出特征图。Ghost卷积模块结构如图 3所示。Ghost卷积包含以下 3个步骤：1）使用忽略偏置项的常规卷积得到 m 维的本征特征图Ym h w，计算量为ns h w c k k。常规卷积操作过程如式（1）所示：Y=X*f（1）其中：*表示卷积操作；f Rc k k m表示卷积滤波器。2）使用线性操作i将本征特征图Y中的每一个通道特征图生成新的 Ghost特征图，如式（2）所示：yij=ij(yi)i=12m，j=12s（2）其中：yi为Y的第i个内在特征图；ij为用于生成第i个Ghost特征图的第 j个线性操作。线性操作的平均核大小为d d，计算量为(s-1)ns h w d d。由于输入的特征图是 m 维，变换的数量是 s，最终得到的特征图是 n维，因此：n=m s（3）除去最后一个恒等（Identity）变换，实际上总共有 s-1个线性变换，由式（3）可得：m(s-1)=ns(s-1)（4）3）将步骤 1 得到的本征特征图和步骤 2 得到的Ghost 特 征 图 进 行 拼 接 以 得 到 输 出。因 此，使 用Ghost 模块的计算量是ns h w c k k+(s-1)图 3Ghost卷积模块结构Fig.3Structure of Ghost convolution module图 1YOLOv5模型结构Fig.1Structure of YOLOv5 model图 2使用常规卷积得到的特征图Fig.2Feature maps obtained using conventional convolution242第 49卷 第 8期刘俊豪，王美林，谢兴，等：基于改进 YOLOv5的皮革瑕疵检测算法ns h w d d。使用 Ghost模块得到的特征图如图 4所示。从图 4 可以看出：Ghost模块使用简单线性变化也可以得到大部分的特征信息，有效压缩模型大小，减少模型参数量且提高实时性。Ghost模块的理论加速比为：rs=nhwckknshwckk+(s-1)nshwdds（5）2.2注意力机制模块2.2.1 Polarized Self-Attention注意力机制的添加针对皮革背景复杂且存在大量的小尺度瑕疵（如孔洞）问题，本文引入 Polarized Self-Attention20注 意 力 机 制。Polarized Self-Attention 模 块 结 构 如图 5所示。文献 20 介绍了 Polarized Self-Attention是结合通 道 及 空 间 注 意 力 机 制 的 卷 积 模 块，通 过 将Polarized Self-Attention 模块添加到主干网络中，可以增强主干网络提取小目标瑕疵特征的能力，使得定位更准确，同时减少计算开销。将 给 定 特 征 图 XRC H W作 为 输 入，Polarized Self-Attention模块会沿着 2个独立的维度（通道和空间）依次判断注意力图，之后将注意力图和输入的特征图相乘以优化自适应特征。为有效提取检测目标的轮廓特征，获取检测目标的主要内容，引入通道注意力机制模块，其计算式如式（6）所示：Ach(X)=FSGWz|1(1(Wv(X)FSM(2(Wq(X)（6）其中：Wq、Wv和Wz表示不同的1 1卷积操作；1和2表 示 不 同 的 Reshape 操 作；“”表 示 矩 阵 的 dot-product 操 作；FSM()表 示 Softmax 操 作，FSM(X)=j=1Npexjm=1Npexm。在Wq、Wv和Wz中的内部通道数为 C/2，输出Zch=Ach(X)chX，其 中，Ach(X)RC 1 1，Zch RC H W，ch表示 Channel-wise的乘法运算。为了精准定位检测目标的位置，提高目标检测准确率，引入空间注意力机制关注重点特征，其计算式如式（7）所示：Asp(X)=FSG3(FSM(1(FGP(Wq(X)2(Wv(X)（7）其中：Wq和Wv表示不同的1 1卷积操作；1、2和3表 示 不 同 的 Reshape 操 作；“”表 示 矩 阵 的 dot-product 操作；FSM()表示 Softmax 操作；FGP()表示全局 池 化，FGP(X)=1H Wi=1Hj=1WX(：ij)。输 出Zsp=Asp(X)spX，其中，Asp(X)R1 H W，Zsp RC H W，sp表示 Spatial-wise的乘法运算。本文通过添加 Polarized Self-Attention注意力机制，解决使用常规卷积丢失部分特征信息的问题，提高模型的精度。2.2.2 激活函数的改进在注意力机制模块中使用的激活函数由 SiLU函数改为 Hardswish函数。SiLU函数如式（8）所示：fSiLU(x)=x Sigmoid(x)（8）其中：x为函数的输入值。Sigmoid激活函数如式（9）所示：Sigmoid(x)=11+e-x（9）Sigmoid 将输入映射到（0，1）区间中，易于求导和训练权值的归一化处理。Hardswish激活函数的计算如式（10）所示：fHardswish(x)=x ReLU6(x+3)6（10）ReLU6 激活函数可以将输入值映射到（0，6）区间，并且过滤负值，保证训练的稳定性。ReLU6激活函数如式（11）所示：图 4使用 Ghost模块得到的特征图Fig.4Feature maps obtained using Ghost module图 5Polarized Self-Attention模块结构Fig.5Structure of Polarized Self-Attention module2432023年 8月 15日Computer Engineering 计算机工程ReLU6(x)=min(max(0 x)6)（11）相比 SiLU 函数，Hardswish 激活函数具有数值稳定性好、计算速度快的优点，可以减小注意力机制模块的计算复杂度，从而增强训练效果。2.3边界框回归损失函数的改进为了让预测框在回归时与目标更贴近，提高模型的预测效果，本文使用 CDIoU21损失函数替换CIoU 损失函数。在 YOLOv5 中，使用 CIoU 计算损失值，相比传统的交并比（Intersection over Union，IoU）函数，CIoU 在惩罚项中考虑了“质心距离”和“宽高比”，有效改进回归效果。CIoU 损失函数如式（12）所示：LCIoU=1-IIoU+2(bbgt)c2+v（12）其中：=v(1-IIoU)+v；v=42()arctanwgthgt-arctanwh2。CIoU 涉及计算反三角函数，通过消融实验21发现使用 CIoU 训练模型会耗费更多时间。为加快训练 速 度，本 文 将 CIoU 替 换 为 CDIoU（Control Distance IoU）。CDIoU 通过引进 DIoU 来保证回归的准确率。DIoU 的计算示意图如图 6 所示，其中最小边界矩形（Minimum Bounding Rectangle，MBR）AYGW 能够包含区域生成（Region Proposal，RP）矩形 ADCB和真值（Ground Truth，GT）矩形 EHGF的最小和。DIoU的计算式如式（13）所示：DDIoU=|RP-GT|24MBRs diagonal=AE+BF+CG+DH4WY（13）最终的计算结果反映了 RP 与 GT 的距离，通过反向传播使得 RP 的 4个顶点向 GT 靠拢，直至重叠。CDIoU的计算式如式（14）所示：LCDIoU=LIoUs+DDIoU（14）LCDIoU具有 2个性质：1）当0 DIoU 1时，LIoUs是LCDIoU的 下 限；2）当LIoUs=LIoU=1-IIoU时，0 LCDIoU 2，若LIoUs=LGIoU，-1 LCDIoU 2。本文实验中LIoUs=LIoU。改进损失函数前后的检测效果如图 7 所示。相比 CIoU，使用 CDIoU 可以让预测框更贴近于目标，能够有效提高检测精度。3实验与结果分析本文实验使用的操作系统为 CPU i7-9750 H，GPU NVIDIA GTX-2070 8 GB，内 存 16 GB，系 统Ubuntu 9.3.0-17 Ubuntu1，框 架 PyTorch，语 言Python。本文设置的超参数：训练 200 轮，采用随机梯度下降策略，初始学习率设置为 0.01，动量和权值衰减分别设置为 0.937 和 0.000 5，使用单 GPU 以 16 的批次大小执行多尺度训练。3.1实验数据集本文使用的皮革实物全部来自皮革生产工厂，使用往返式视觉采集平台进行采集，共采集 794 张分辨率为 8 1928 192像素的图像，考虑到训练成本和实际应用场景，将图像分辨率调整至 640640 像素用于训练。数据集将瑕疵分为孔洞状（hole）、气泡状（bubble）、条纹状（stripe），使用 LabelImg对图像进行标注，标注样例如图 8所示。本文将标注好的数据集按照训练集 80%、测试集 20%的比例进行划分，在数据集中各类瑕疵数量如表 1所示。图 8皮革瑕疵数据集标注样例Fig.8Annotation example of leather defect dataset表 1在数据集中各类瑕疵的统计结果 Table 1Statistical results of each type of defect on the dataset数据集训练集测试集总计图片数/张636158794气泡状/个1 2522921 544孔洞状/个807178985条纹状/个484125609Label总数/个2 5435953 138图 6DIoU的计算示意图Fig.6Schematic diagram of DIoU calculation图 7改进边界框损失函数的检测效果对比Fig.7Detection effect comparison of improved bounding box loss functions244第 49卷 第 8期刘俊豪，王美林，谢兴，等：基于改进 YOLOv5的皮革瑕疵检测算法本文使用 YOLOv5s 模型对原始数据集进行训练，获得模型大小为 13.8 MB，FLOPs为 15.8109，参数量为 7.02106，mAP 评价指标高于 0.591，表明本文制作的数据集有效。3.2数据增强由于采集到的样本较少，因此需要进行数据增强来扩充数据集。数据增强在不改变模型结构的前提下提高模型的泛化能力，缓解样本不均衡的问题。3.2.1 ImgAug数据增强由 于 深 度 学 习 需 要 更 多 的 样 本，因 此 使 用ImgAug 技术将原数据集扩增到 9 528 张。ImgAug数据增强方法如图 9所示。ImgAug是一个封装好的用于图像增强的 Python 库，传统数据增强方法包括旋转（对图片进行 90、180、270旋转）、翻转（图片沿着水平、垂直方向进行翻转）、亮度调整和模糊。3.2.2 Mosaic数据增强Mosaic 数据增强是将 4 张图片经过随机缩放、裁剪、拼接组合在一起。Mosaic 数据增强示意图如图 10 所示。使用 Mosaic 数据增强有以下 2 个优点：1）丰富瑕疵数据集的局部特征，特别是使用随机缩放可以增加小目标信息，充分利用图像的所有特征，提高网络的鲁棒性；2）将 4张图片拼接在一起，在计算 Batch Normalization 时会一次计算 4 张图片的数据，提高计算效率，减少对 GPU的依赖。3.3评价指标本文衡量模型的性能指标主要有精度（P）、召回率（R）、F1 值11、ROC 和 AUC22、平均精度（Average Precision，AP）、平 均 精 度 均 值（mean Average Precision，mAP）23、FPS（每秒可以检测的图片数量，用于衡量模型的检测速度）、FLOPs（每秒浮点运算次数，对应算法的时间复杂度，用于衡量算法的速度）、参数量18（对应算法的空间复杂度，用于衡量模型空间大小）。本文重点分析精度、召回率、F1 值、ROC曲线、AUC值、AP和 mAP。精度表示分类器认为是正类样本中实际是正类的比例，表示模型的查准率，如式（15）所示：P=TTPTTP+FFP（15）其中：TTP表示预测皮革瑕疵属于某一类型（bubble、hole 或者 stripe）同时被正确检测的样本数；FFP表示预测瑕疵是某一类型，但是检测错误的样本数。召回率表示分类器认为是正类的样本数量占所有 正 样 本 的 比 例，表 示 模 型 的 查 全 率，如 式（16）所示：R=TTPTTP+FFN（16）其中：FFN表示预测某个瑕疵不是某一类型但检测错误的样本数。F1 值是精度和召回率的调和平均值，常用于评价分类模型的优劣。F1值较高的模型通常具有较优的分类性能11，如式（17）所示：F1=2 P RP+R（17）其中：F1表示 F1值。ROC 是评估分类性能的重要指标，横坐标是假阳性率（False Positive Rate，FPR），纵坐标是真阳性率（True Positive Rate，TPR）。ROC 曲线能够尽量降低不同测试集带来的干扰，更加客观地衡量网络本身的性能。FPR 和 TPR 的计算式如式（18）和式（19）所示：FFPR=FFPFFP+TTN（18）TTPR=TTPTTP+FFN（19）AUC 是 ROC 曲线与坐标轴组成的面积，通常AUC 越 大，模 型 分 类 性 能 越 好。真 反 例（True Negative，TN）表示预测某个瑕疵不是某一类型同时被正确检测的样本数。平均精度是通过计算 P-R 曲线下的面积，得到每个类别的 AP值，如式（20）所示：AAP=01P(R)dt（20）mAP是目标检测领域用于评估模型性能和可靠性的常用指标，首先求得所有类别的 AP 值，之后求均值便得到。mAP计算式如式（21）所示：mmAP=1Ni=1NAAP（21）图 9ImgAug数据增强方法Fig.9ImgAug data enhancement methods图 10Mosaic数据增强示意图Fig.10Schematic diagram of Mosaic data enhancement2452023年 8月 15日Computer Engineering 计算机工程其中：n为训练集中类别个数。在本文皮革瑕疵检测中 n=3，mmAP=13i=13AAPi。3.4消融实验为验证 GhostNet 模块对模型的作用，本文对替换前后的模型效果进行对比，结果如表 2 所示。从表 2 可以看出：使用 GhostNet 后模型的 FLOPs 从15.8109降低到 8.1109，参数量从 7.02106降低到3.68106，模型大小从 13.8 MB 降低到 7.5 MB，表明GhostNet模块可以有效降低网络的复杂度、计算量、参数量，并且压缩模型大小。为了选择最适合本文数据集的注意力机制和损失函数，本文以使用 GhostNet 替换后的 YOLOv5 算法（Ghost-YOLOv5）作为基准，使用不同注意力机制、边界框回归损失函数进行对比实验。不同模块的实验结果如表 3所示。从表 3 可以看出：在主干网络 YOLOv5 中插入不同注意力机制后，模型的 mAP 指标得到显著提升。相 比 Ghost-YOLOv5，Ghost-YOLOv5+CBAM的 mAP 提高了 0.6个百分点，Ghost-YOLOv5+SENet的 mAP 提 高 1.7 个 百 分 点，Ghost-YOLOv5+ParNetAttention24的 mAP 提高 1.8 个百分点，Ghost-YOLOv5+CotAttention25的 mAP 提高 0.6 个百分点，Ghost-YOLOv5+ECAttention26的 mAP 提高了 2.3 个百 分 点，Ghost-YOLOv5+Polarized Self-Attention 的mAP提高 2.9个百分点。通过对比可以发现，相比其他注意力机制，Polarized Self-Attention 在本文数据集 上 虽 然 Recall 指 标 提 升 的 效 果 没 有ParNetAttention 方法好，但是对于 mAP 和 F1 值的提升效果是最好的，说明 Polarized Self-Attention 可以获取更准确的瑕疵位置并提取更详细的特征信息。当使用不同的边界框回归损失函数进行改进时，相比Ghost-YOLOv5，Ghost-YOLOv5+EIoU27和Ghost-YOLOv5+AlaphIoU28的 mAP 分别降低 1.6 和2.6 个百分点，而 Ghost-YOLOv5+CDIoU 的 mAP、召回率和 FI 值分别提高 0.5、0.2 和 0.5 个百分点，说明 使 用 CDIoU 可 以 有 效 提 升 训 练 效 果 和 预 测 准确率。为了获得最好的模型效果，本文使用 Polarized Self-Attention 注意力机制和 CDIoU 损失函数。为验证 Polarized Self-Attention 注意力机制和改进边界框回归损失函数 CDIoU 对模型性能的影响，本文在 Ghost-YOLOv5 网络的基础上对加入的模块进行消融实验。消融实验结果如表 4 所示。从表 4 可以看 出：相 比 Ghost-YOLOv5，在 添 加 Polarized Self-Attention 注意力机制后，气泡状、孔洞状、条纹状这3 种瑕疵的 AP 分别提高 2.9、2.9、2.7 个百分点，召回率和 F1 值分别提升 2.3 和 2.5 个百分点，说明加入Polarized Self-Attention 注意力机制可以有效提高模型提取瑕疵特征的能力，提高模型的瑕疵检出率。在改进边界框损失函数为 CDIoU 后，虽然孔洞状的精度略微降低，但是气泡状和条纹状的 AP 分别提高了 1.5 和 1.1 个百分点，整体精度和召回率分别提表 2替换 GhostNet前后模型的参数信息 Table 2Parameter information of models before and after replacing GhostNet模型YOLOv5Ghost-YOLOv5FLOPs/10915.88.1参数量/1067.023.68模型大小/MB13.87.5表 3不同模块的实验结果对比Table 3Experiment results comparison among different modules模块Ghost-YOLOv5Ghost-YOLOv5+CBAMGhost-YOLOv5+SENetGhost-YOLOv5+ParNetAttentionGhost-YOLOv5+CotAttentionGhost-YOLOv5+ECAttentionGhost-YOLOv5+Polarized Self-AttentionGhost-YOLOv5+EIoUGhost-YOLOv5+AlaphIoU(=3)Ghost-YOLOv5+CDIoUGhost-YOLOv5+Polarized Self-Attention+EIoU Ghost-YOLOv5+Polarized Self-Attention+AlaphIoUGhost-YOLOv5+ECAttention+CDIoUGhost-YOLOv5+Polarized Self-Attention+CDIoUFLOPs/1098.110.010.018.617.39.911.38.18.18.111.311.39.911.3参数量/1063.684.504.548.297.514.455.163.683.683.685.165.164.455.16召回率0.7860.7820.8040.8110.7930.8150.8090.7540.7550.7880.8000.7870.8170.819F1值0.8340.8380.8500.8520.8390.8580.8590.8110.8210.8390.8450.8440.8600.867mAP/%86.086.687.787.886.688.388.984.483.486.587.886.488.789.2246第 49卷 第 8期刘俊豪，王美林，谢兴，等：基于改进 YOLOv5的皮革瑕疵检测算法高 0.5 和 0.2 个百分点，F1 值提高 0.5 个百分点，说明改