基于YOLOv5算法的小动物识别技术研究.pdf

2023 年第 8 期194智能技术信息技术与信息化基于 YOLOv5 算法的小动物识别技术研究林典敏1 吴可廷1LIN Dianmin WU Keting 摘要 随针对变电站经常出现小动物危害，并且小动物由于目标小，导致识别难度大的问题，提出了一种改进 YOLOv5 算法的小动物识别技术。首先，通过添加注意力机制，提升对小动物的识别效果；然后使用 CIOU 损失函数替代 YOLOv5 算法中原有的 GIOU 损失函数，提高算法的识别精度；最后使用DIOU-NMS 代替 NMS，改善模型预测阶段漏检的情况。由实验结果可知，在相同实验环境下，改进的YOLOv5 算法的平均精度均值是 98%，比改进前提高了 4.9%。关键词 图像识别；YOLOv5；注意力机制；小动物doi：10.3969/j.issn.1672-9528.2023.08.0431.广东工业大学 广东广州 5100060 引言近年来，小动物危害已经成为影响变电站正常运作的不稳定因素之一1，小动物危害问题急需得到重视和解决。人为通过监视器发现小动物，从而进行驱赶的方式，往往不能精确防治，效率低下。因此，结合图像识别算法，提高小动物识别检测效率非常有必要。目前，不少学者对动物检测进行了相关研究。比如郭子豪等在 Faster R-CNN2中添加一种注意力机制(self-paced spaced cognitive attention training,SPSCAT)，提高复杂背景下节肢动物目标检测的准确率3；张世龙提出了一种基于MRFEM-YOLOv4 模型的羊脸检测算法，在 YOLOv4 模型中加入多尺度残差特征增强模块(multiscale residual feature enhancement moudule,MRFEM)，高效聚合神经网络不同层间的特征映射，应用 Circle loss 度量学习损失，有效提高了羊脸识别准确率4；刘雨青等人用移动网络(mobile network,MobileNet)5结构替换原始 YOLOv4 中的跨阶段部分网络(cross stage partial network,CSP)结构，并使用通道剪枝的方法对网络结构的卷积层进行压缩，最后使用优化 K-means 聚类结合添加全局非极大值抑制的距离联合交并比(distance IOU,DIOU)损失函数确定锚框，有效压缩模型的同时，解决鱼体相互遮挡导致锚框缺失问题6。上述方法虽然能提高模型的性能，但针对小动物识别检测而言，仍然有不足之处。Faster R-CNN 属于双阶段算法，检测精度虽然比单阶段高，但是速度比较慢；YOLOv4 属于单阶段检测算法，虽然速度较快，但是不能进行自适应锚框计算，导致锚框精度不高，检测小目标时，错检和漏检的比例偏高。基于此，本文提出了一种改进 YOLOv5 算法的小动物识别技术，在 YOLOv5s 中增加通道注意力(squeeze-and-excitation,SE)结构，增强了特征的指向性，特征利用更充分；使用完全可重合联合交并比(complete IOU,CIOU)损失函数替代 YOLOv5 算法中原有的全局可重合联合交并比(distance IOU,GIOU)损失函数，提高小动物的识别精度；最后用DIOU-NMS 代替非极大值抑制(non-maximum suppression,NMS)7，改善模型预测阶段漏检的情况。实验结果表明，与原始 YOLOv5 算法相比，改进后的 YOLOv5 算法在小动物目标检测中的效果有所提升。1 YOLO 算法介绍YOLO 属于单阶段目标检测算法，利用神经网络9学习物体的特征，可以识别物体的类别，以及判断物体的位置。YOLO 的基本思想是把一幅图片分割成 SS 个单元格，以每个格子所在的位置和内容为基础，进行预测。每个格子会对其中的物体进行识别，给出 A 个预测框，包括预测框的置信度和相对位置，相对位置由(x,y,w,h)表示，其中(x,y)表示边界框的中心与单元格边界的相对值，(w,h)表示边界框的宽度和高度。目前 YOLO 有 v1v5 五个版本，YOLOv58主要由四个部分组成，分别是 input、backbone、neck、prediction。1.1 InputInput 是输入端，负责对传入的图片数据进行预处理，有数据增强功能、自适应锚框计算功能、图片放缩功能。数据增强通过对任意四张图片的随意放缩与拼接，丰富了检测数据集，增加了很多小目标，从而增强了系统的鲁棒性。自适应锚框计算可以自动计算各个训练集中效果最好的锚框。图 2023 年第 8 期195智能技术信息技术与信息化片放缩可以对原始图片自动增加适当的黑边，从而减小了信息冗余，增加模型的推理效率。1.2 BackboneBackbone 是主干网络，主要有两个部分：Focus 和CSP。Focus 作用是将原始图片切片得到特征图，将原始图片的 RGB 三个通道上的像素每隔一个取出，切片步骤如图 1 所示，原本 443 的图片经过切片操作，得到了2212 的特征图。CSP 是从网络结构体系角度提出的跨阶段局部网络，不仅可以让模型学习更多特征，还可以降低运算量。图 1 切片操作1.3 NeckNeck 网络层位于 backbone 和 prediction 之间，主要是为了将特征进行融合，主要包含特征金字塔网络(feature pyramid network,FPN)和 路 径 聚 合 网 络(path aggregation network,PAN)两个结构，如图 2 所示。FPN 结合上采样，将上层特征信息向下传递，丰富特征图的信息。PAN 结合下采样，把底层信息传递给上层信息，增强特征定位。FPN 和PAN 结合，将各个检测层的信息进行融合，有效提高了特征的信息利用率。图 2 FPN 和 PAN1.4 PredictionPrediction 是输出端，对特征图进行预测，输出预测结果。这部分包含损失函数和非极大值抑制，其中的边界框损失函数使用的是 GIOU 损失函数，NMS 可以分析去除冗余的预测框。基于网络的深度和宽度不同，YOLOv5 有 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 四个模型。本文选取 YOLOv5s 进行研究，YOLOv5s 的模型结构如图3 所示。图 3 YOLOv5s 结构图2 YOLOv5 算法改进为了提高算法对小动物的识别精度，本文对 YOLOv5算法进行了改进。首先，在算法中加入 SE 注意力机制，提升了模型对小目标的识别能力；其次，用 CIOU 损失函数代替原有的 GIOU 损失函数，提高算法的识别精度；最后使用DIOU-NMS 代替 NMS，改善模型预测阶段漏检的情况。2.1 添加 SE 注意力机制目标检测的难点之一是对小目标10的检测。YOLOv5s的特征提取网络容易丢失小目标特征，导致模型对小目标的检测比较困难，因此本文引入 SE 注意力机制。SE11注意力机制认为不同通道的特征图，重要性是不一样的，因此需要对其分配不同权重，从而可以提升模型对包含小目标信息的特征的关注。SE 注意力机制结构如图 4 所示。图 4 SE 注意力结构图SE 注意力机制由三个部分组成：挤压(squeeze)、激励(excitation)、注意(scale)。SE 注意力机制流程如下：(1)进行挤压操作，对特征图进行全局池化，把一张特征图变成一个实数，将 HWC 的特征图压缩成 11C 的特征图，降低了空间维度。(2)进行激励操作，引入一个多重感知器 w，其中包含两个全连接层12和非线性激活函数，w会对特征通道进行赋值，也就是权重值。使用Sigmoid 函数对权重值做归一化的处理，每个权重可以看作对应通道的重要性。(3)进行注意操作，将原始特征通道与上述得到的对应实数相乘，经此操作得到重标定的特征图，从而提升重要的特征，抑制不重要的特征。本文将 SE 注意力模块添加在 backbone 主干网络之后，neck 网络进行特征融合之前。2023 年第 8 期196智能技术信息技术与信息化2.2 改进损失函数YOLOv5s的损失函数主要由三部分构成，分别是分类损失、置信度损失、定位损失。其中定位损失函数使用的是GIOU函数，可以计算预测框和真实框之间的位置误差，公式如下：L=1-G （1）()CABGIC=（2）式中：L是定位损失，G是GIOU值，I是IOU值，A是真实框,B是预测框，C 是包含 A 和 B 的最小矩形。GIOU 函数既两个框的重合部分，又考虑了不重合部分，能有效解决两个框不重合而不能评估的问题。GIOU 函数原理图如图 5 所示。图 5 GIOU 函数原理图但是 GIOU 函数有一个问题，一旦两个框发生包含关系，或者不包含但是高或宽对齐的情况，GIOU 函数就退化成了IOU函数，不能评估两个框之间的位置，降低模型的收敛速度。为此，本文引用 CIOU 函数代替 GIOU 函数，改进后的定位损失函数如下所示：L=1-C （3）222CDCID=（4）(1)I=+（5）224(arct anarct an)ABABwwhh=（6）式中：C 是 CIOU 值，D2是预测框和真实框的相对距离，C 是包含预测框和真实框的最小矩形，DC表示 C 的对角长度，是平衡参数，v 表示两个框的长宽比的差异，wA、hA和 wB、hB分别表示两个框的宽度和高度。CIOU 函数相当于在保留GIOU 函数优点的基础上，增加了中心点距离度量，直接优化两个框中心距离，加快收敛速度，仅当中心点完全重合的时候，才会退化成 IOU 函数。CIOU 函数原理图如图 6 所示。图 6 CIOU 函数原理图使用 CIOU 函数作为定位损失函数，不仅充分考虑两个框之间的中心距离，还兼顾了长宽比因素，提高模型定位精度，同时缩短模型的收敛时间。2.3 使用 DIOU-NMS 代替 NMS在目标检测的预测阶段，会输出许多候选预测框，很多预测框其实是指向同一个目标，YOLOv5 去除冗余框的方法是采用极大值抑制法(NMS)。NMS 的原理是先把可能性最大的框和其他框进行交并比得到 IOU 值，然后把 IOU 值超过一定阈值的框去除。因为 NMS 只考量 IOU 值，所以当物体距离很小时，容易发生漏检。因此使用 DIOU-NMS 代替NMS，DIOU-NMS 的公式如下所示：,(,)0,(,)iDiiDipIR N BpIR N B=（7）22(,)ABDbbRd=（8）式中：pi是分类得分，I 是 IOU 值，N 是效果最好的预测框，Bi是待判断的预测框，是阈值，()是 N 和 Bi的中心距离，d 表示包含两个框的最小矩形的对角距离。DIOU-NMS 除了考量交并比，还考量框之间的相对距离，当 IOU 值超过阈值，但同时中心距离也比较大，有可能会被判定是两个不同目标，从而被保留下来，提高模型的精度。3 实验结果分析3.1 数据预处理与实验配置本文通过收集网上公开的动物图片，制作图片数据集，总共 2846 张，包括 1632 张老鼠图片和 1214 张蛇图片。用labelimg 工具完成标注操作，得到 xml 格式的文件，再将xml 文件转为所需的 txt 文件。把完成标注处理的图片分为训练集和测试集，比例是 8:2。本文实验使用的平台配置是 Windows10 操作系统，CPU 型号是 Intel Xeon(R)Gold 5218，GPU 型号是 NVIDIA GeForce RTX 2060。基 于 深 度 学 习 框 架 Pytarch 构 建YOLOv5s 模型，开发工具是 PyCharm，使用 python 编程语言。在 YOLOv5s 模型开始训练前，需对相关参数进行配置，图片分辨率是 640640，动量因子是 0.947，学习率是 0.01，批量大小是 16，训练周期是 300 轮。3.2 评价指标本文的评价指标使用精确率(precision,P)、召回率(recall,R)、平均精度均值(mean average precision,mAP)。100%TPTPFPQPQQ=+（9）100%FNTPTPQRQQ=+（10）式 中：QTP、QFP、QFN分 别 代 表 TP、FP、FN 的 值，TP 和FP 分别是预测为正样本中正确和错误的数量，FN 是预测为负样本但是预测错误的数量。平均精度(average precision,2023 年第 8 期197智能技术信息技术与信息化AP)和平均精度均值 13的公式如下：（11）（12）式中：PA 代表 AP 值，m 代表 mAP 值，AP 是 PR 曲线14图中曲线与坐标轴之间的区域面积。APi是第 i 个类别的 AP，C 是指所有目标类别的数量。3.3 结果分析改进的 YOLOv5s 模型经过 300 轮的训练后，precision、recall、CIOU_loss 和 mAP 的变化曲线如图 7、图 8、图 9 和图 10 所示。图 7 精确率变化曲线图 8 召回率变化曲线图 9 损失函数变化曲线图 10 平均精度均值变化曲线由图 7 10 可知，当迭代次数为 300 时，精确率为98.1%，召回率为 96.5%，损失值为 0.013 左右，平均精度均值为 98%。为了进一步测试本文算法模型的性能，将原始 YOLOv5s模型和改进后的 YOLOv5s 模型在同一数据集上进行实验，各项性能指标如表 1 所示。表 1 模型性能对比模型召回率/%精确率/%mAP/%检测速度/（帧s-1）YOLOv5s92.893.493.154改进的YOLOv5s96.598.19847由表 1 可知，模型改进后相比改进前，召回率提高了3.7%，精确率提高了 4.7%，mAP 提高了 4.9%。虽然每秒检测帧数下降了 7，但是检测速度上仍然具有很大优势。说明本文改进后的 YOLOv5s 模型性能有所提升，具有良好的检测效果。模型改进前后实际检测效果对比如图11、图12所示。图 11 原始模型检测效果图 12 模型改进后检测效果4 结论为了解决变电站出现的小动物由于目标小而难以识别的问题，本文提出一种改进的 YOLOv5s 模型。针对小动物目标小的特点，在 YOLOv5s 模型中添加了 SE 注意力机制，提升了模型对小动物的识别效果；然后使用 CIOU 函数作为定位损失函数，替代算法本身的 GIOU 函数，提高算法的识别精度和定位精度，缩短模型的收敛时间；使用 DIOU-NMS 代替 NMS 去除冗余框，改善预测阶段漏检的情况，提高模型精度。实验结果表明，改进后的模型的检测性能，较改进前有所提升，可以满足变电站对危害小动物的目标检测。后续数据集将添加其他类别小动物的图片，提高模型的泛化能力。2023 年第 8 期198智能技术信息技术与信息化参考文献：1黄健洪,钟健樑,曾嘉俊.浅谈变电站防小动物治理措施J.农村电气化,2022(4):88-90.2 郭子豪.基于深度学习的节肢动物目标检测方法研究 D.淄博：山东理工大学,2022.3 郭子豪,董乐乐,曲志坚.基于改进 Faster RCNN 的节肢动物目标检测方法 J.计算机应用,2023,43(1):88-97.4 张世龙.基于深度学习的阿尔巴斯绒山羊面部识别研究D.呼和浩特:内蒙古大学,2022.5 杜紫薇,周恒.面向深度卷积神经网络的小目标检测算法综述 J.计算机科学,2022,49(12):205-218.6 王亚茹,刘雨青,黄璐瑶.基于 FML-Centernet 算法的鱼类识别检测方法 J.激光与光电子学进展,2022,59(16):1-157 LI J,WEI Y,JIN X,et al.Object detection via a multi-region&semantic segmentation-aware CNN modelC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),New York:CVPR,2015:1134-1142.8 邵延华,张铎,楚红雨,等.基于深度学习的 YOLO 目标检测综述 J.电子与信息学报,2022,44(10):3697-3708.9 张静,农昌瑞,杨智勇.基于卷积神经网络的目标检测算法综述 J.兵器装备工程学报,2022,43(6):37-47.10 张艳,张明路,吕晓玲,等.深度学习小目标检测算法研究综述 J.计算机工程与应用,2022,58(15):1-17.11HU J,SHEN L,ALBANIE S,et al.Squeeze-and-excitation networksJ.IEEE transactions on pattern analysis and machine intelligence,2019,42(8):2011-2023.12 周飞燕,金林鹏,董军.卷积神经网络研究综述 J.计算机学报,2017,40(06):1229-1251.13 张 志 远,罗 铭 毅,郭 树 欣,等.基 于 改 进 YOLOv5的 自 然 环 境 下 樱 桃 果 实 识 别 方 法 J.农 业 机 械 学报,2022,53(S1):232-240.14 邱天衡,王玲,王鹏等.基于改进 YOLOv5 的目标检测算法研究 J.计算机工程与应用,2022,58(13):63-73.【作者简介】林典敏（1996），男，广东汕头人，广东工业大学硕士研究生，研究方向：涉及变电站小动物危害的防治、深度学习和目标检测。吴可廷（1998），男，江西赣州人，广东工业大学硕士研究生，研究方向：涉及变电站小动物危害的防治、智能信息处理和嵌入式系统。（收稿日期：2023-01-15 修回日期：2023-03-01）参考文献：1 曹芳.基于 SAR 图像的海面舰船目标检测与鉴别算法研究 D.西安：西安电子科技大学,2014.2 李坤,樊宇.基于改进卷积神经网络的船舶图像识别研究J.舰 船科学技术,2021,43(12):187-189.3 GLENN J.YOLOv5 releases v6.1CP/OL.(2022-02-07)2022-03-10.https:/ WOOS,PARK J,LEE J Y,et al.Cbam:Convolutional block attention module C/Proceedings of the 2018 European Conference on computer Vision.Cham:Spring,2018:3-19.5 姜浩风,张顺,梅少辉.基于改进 YOLOv3 的 SAR 舰船图像目标识别技术 J.上海航天,2022,39(3).60-66.6 李男,叶晓东,王昊,等.基于改进 YOLOv5 的复杂场景下SAR图像船舶检测方法J.信号处理,2022,38(5):1009-1018.7 王玲敏,段军,辛立伟.引入注意力机制的 YOLOv5 安全帽佩戴检测方法 j.计算机工程与应用,2022,58(9):303-312.8 REZATOFIGHI H,TSOI N，GWAK J Y，et al.Generalized intersection over union：a metric and a loss for bounding box regressionC/IEEE/CVF Conference on Computer Vision and Pattern Recognition.PaloAlto:IEEE,201 9:658-666.9 HU J,SHEN L.Squeeze-and-excitation networks journal J.IEEE transactions on pattern analysis and machine intelligence.2019,48(2):7132-7141.10 高倩,潘杨,朱磊,等.基于 SIOU 函数的改进 YOLOv5遥感目标检测方法 J.长江信息通信,2022,35(11):5-8.11BODLAN,SINGHB,CHELLAPPAR,et al.Soft-NMS-imp roving object detection with one line of codeC/IEEE International Conference on Computer Version(ICCV).New York:IEEE,2017:5561-5569.12LINTY,GOYAL P,GIRSHICKR,et al.Focal loss for dense object Detection C/Proceedings of the 2017 IEEE International Conference on Computer Vision.Washington：IEEE Computer Society,2017:2980-2988.【作者简介】刘树林(1997)，男，山东潍坊人，硕士研究生在读，研究方向：智能控制与应用。周晓燕(1978)，女，山东烟台人，副教授，博士研究生，研究方向：永磁电机及其控制。王玉林(1972)，男，湖南衡阳人，硕士研究生，研究员，研究方向：遥感、通信工程。（收稿日期：2023-02-10 修回日期：2023-04-23）(上接第 193 页）