基于YOLOv5-DSC的漂浮物目标检测.pdf

现代电子技术Modern Electronics TechniqueNov.2023Vol.46 No.222023年11月15日第46卷第22期0 引 言目前，流入中国海洋的塑料正在严重威胁海洋生物，对生态环境产生了极大的负面影响，同时也造成严重的经济损失。众所周知，陆地的塑料废物是输送到世界海洋垃圾废物的主要部分，陆地上的塑料经河流流入海洋，会对河流生态系统直接造成影响1。因此，检测内陆水域的垃圾废物，如运河、河流、湖泊上的漂浮物24，并及时清理是一种减缓海洋废弃物和水污染增长趋势5的重要方法，能有效地减少水生态的污染。现在，基于深度学习的目标检测可以分为Onestage目标检测算法和 Twostage 目标检测算法6。Twostage目标检测的代表算法有 RCNN、SPPNet、FastRCNN、Faster RCNN等，这类方法都是先生成候选框，再进行分类和回归，特点是速度慢、精度高，不能满足实时性检测。Onestage 目标检测的代表算法有 YOLO 系列、SSD 等，这类算法是将目标检测视为回归问题来处理，能够直接预测物体边界框和类别，能实现实时检测。雷李义等人制作了一个小型湖面漂浮物的数据集，并采用 SSD、Faster RCNN 和 RFCN 三种目标检测模型，实现水面漂浮物的检测识别7。为了实现对湖中塑料漂浮物的检测，陈运军搭建了一种基于 VGG 网络的检测算法，拓宽网络的通道数，实现对漂浮物的检测。李国进等人针对人工湖中的漂浮检测问题，在YOLOv3的预测部分加入类激活映射（Class Activation Mapping,CAM），提升定位精度9，识别率可达97.49%。刘伟等人建立了一个20类别河湖数据集，并采用Mask RCNN检DOI：10.16652/j.issn.1004373x.2023.22.025引用格式：刘尧兵，张建杰，刘丹，等.基于YOLOv5DSC的漂浮物目标检测J.现代电子技术，2023，46（22）：144150.基于YOLOv5DSC的漂浮物目标检测刘尧兵，张建杰，刘 丹，徐鸿哲（新疆大学 机械工程学院，新疆 乌鲁木齐 830017）摘 要：针对河道漂浮物检测识别困难的问题，提出一种改进型的检测识别网络YOLOv5DSC。首先，在YOLOv5骨干网络中加入无参数注意力机制SimAM，在不增加模型参数的情况下，提高模型的特征提取能力；其次，在特征融合网络中使用基于深度可分离卷积（DSC）的 DSCSP结构，减少模型的计算量；最后，采用 SIoU 损失函数代替原 YOLOv5网络模型中的CIoU损失函数。SIoU损失函数重新定义了回归距离损失，加快了网络的收敛速度。在漂浮物数据集上进行了实验验证，结果表明，YOLOv5DSC平均精度均值达到了98.5%，检测速度为145 f/s。关键词：YOLOv5；深度可分离卷积；漂浮物检测；目标检测；注意力机制；SIoU损失函数中图分类号：TN911.2334；TP391.4 文献标识码：A 文章编号：1004373X（2023）22014407YOLOv5DSC based floating object target detectionLIU Yaobing,ZHANG Jianjie,LIU Dan,XU Hongzhe(School of Mechanical Engineering,Xinjiang University,Urumqi 830017,China)Abstract：In allusion to the problem of river floating object detection and recognition,an improved detection and recognition network YOLOv5DSC is proposed.SimAM,a parameterfree attention mechanism,is added to the YOLOv5 backbone network to improve the feature extraction capability of the model without increasing the model parameters.The DSCSP structure based on depthseparable convolution is used in the feature fusion network to reduce the computation of the model.The SIoU loss function is used to replace the CIoU loss function in the original YOLOv5 network model.The SIoU loss function can redefine the regression distance loss and speed up the convergence of the network.The experimental validation was performed on the floater dataset,and the results show that the mean accuracy of YOLOv5DSC can reach 98.5%on average,with a detection speed of 145 f/s.Keywords：YOLOv5;deep separable convolution;floating object detection;target detection;attention mechanism;SIoU loss function收稿日期：20230320 修回日期：20230426基金项目：新疆维吾尔自治区重点研发项目（2022B02038）144144第22期测模型10，其检测识别率高达 90%以上，比 HOG方法提高16%。现有的方法在漂浮目标检测中取得了比较好的检测效果，但是依然存在一些问题：河面环境背景复杂、水纹、倒影以及漂浮物体积较小等。为了解决这些问题，本文提出一种基于 YOLOv5 的漂浮物目标检测算法YOLOv5DSC。1 YOLOv5DSC网络结构YOLOv5DSC 是基于 YOLOv5进行改进的，其网络模型主要由输入端、主干网络、特征融合网络和检测头四部分构成，其网络架构如图1所示。1）输入端：YOLOv5DSC采用多种数据增强技术，包括随机缩放和裁剪 4张图片合成一张图片以增加样本训练量，以及自适应图片缩放技术将输入图片缩放到640640，以便网络可以处理不同大小的图片。输入端有助于提高模型的准确性。2）主干网络：YOLOv5DSC 的主干网络主要包括CSPDarknet53、SPPF 和 无 参 数 注 意 力 机 制 SimAM。CSPDarknet53网络主要提取图像的特征信息，而其中的C3层主要由组件CBS（卷积层、批归一化BN11和激活函数 SiLU）和残差块构成，主要是能够进一步提取更细致的特征，提高网络的性能。SPPF 结构采用 55 的最大池化方式进行多尺度特征融合。无参数注意力机制SimAM 可以对特征进行加权处理，以提高目标特征的重要性。这三个模块相互协作，可以提高 YOLOv5DSC的检测性能。3）特征融合网络：模型采用特征金字塔网络FPN12和路径聚合网络 PANet13的联合使用，实现多尺度目标检测。4）检测头：由特征融合网络输出三个特征层进行检测，分别检测大中小三种目标。图1 YOLOv5DSC网络结构刘尧兵，等：基于YOLOv5DSC的漂浮物目标检测145现代电子技术2023年第46卷1.1 无参数注意力SimAM在实际漂浮物检测识别中，目标常常伴有大量的背景信息，会导致网络训练后的权重中包含许多的无用信息，严重影响检测性能。为了解决这一问题，在主干网络中引入无参数注意力 SimAM14。SimAM 模块无需向原始网络中添加参数，相比于通道注意力只关注通道重要性，空间注意力只关注空间位置重要性，SimAM 注意力能同时关注对待每个通道及空间位置特征的重要性，只需通过一个Energy函数来计算注意力权重，计算公式如下：E=4(2+)(t-)2+22+2（1）式中：t为目标特征；为超参数；和2是X输入特征每个通道数的均值与方差。和2的计算公式分别为：=1Mi=1Mxi（2）2=1Mi=1M(xi-)2（3）式中 M=HW，表示每个通道上的能量数。由 Energy函数 公 式 对 每 个 目 标 特 征 进 行 评 估，并 计 算 最 小 的Energy，Energy 越小，说明目标特征 t越突出，重要性越高。因此，本文可以通过1 E计算目标特征的重要性。最后通过sigmoid函数将1 E限制在01之间，避免过大值，计算公式如下：X=sigmoid(1 E)X（4）对于目标检测识别，通道和空间特征都十分重要。为了有效地利用空间与通道特征的重要性，本文将SimAM 引入到 CSPDarknet53 网络中，在不增加网络参数的同时通过能量函数可以有效地提取出重要特征，抑制 干 扰 信 息。在 多 次 实 验 过 后，将 SimAM 层 加 到backone 中最后一个 C3 层之后效果最好。优化网络结构如表1所示。1.2 DSCSP模块在水面漂浮物检测中，速度与准确性都十分重要。通过在特征融合网络中使用深度可分离卷积的方法来减轻模型的复杂度和减少参数。深度可分离卷积15由逐通道卷积和逐点卷积两部分组成，如图2所示。逐通道卷积对输入特征图分组卷积，分组数量为输入通道数，即保持输入通道数和输出通道数一致；逐点卷积通过11的普通卷积改变输入通道数。但深度可分离卷积提取的特征存在通道信息分离的缺点，为了解决这个问题，在深度可分离卷积后面加入通道 shuffle 的操作，将改进的模块称为 DSConv，如图 3 所 示。设 计 一 个 基 于 深 度 可 分 离 卷 积 的DSbottleneck和DSCSP模块，如图4所示。表1 改进后CSPDarknet53网络结构TypeConvConvC3ConvC3ConvC3ConvC3SimAMSPPFNumber11112131111Parameters3 52018 56018 81673 984115 712295 424625 1521 180 6721 182 7200656 896Channel326464128128256256512512512512kernel66333333331155Output32032016016016016080808080404040402020202020202020图2 深度可分离卷积图3 DSConv模块图4 基于深度可分离卷积的模块1.3 SIoU损失函数YOLOv5的损失函数由边框回归损失、置信度损失146第22期以及类别概率损失三部分组成。在边框回归损失中，采用完全交并比损失函数（CIoU Loss）实现预测，CIoU Loss是在 DIoU 的基础上加了一个影响因子，计算公式如下：IoU=A BA B（5）LCIoU=1-IoU+2(b,bgt)c2+（6）式中：IoU是预测框和真实框之间的交并比；b、bgt分别是预测框和真实框的中心点；是计算两个中心点间的欧氏距离；c是能够同时包含预测框和真实框的最小闭包区域的对角线距离。与的计算公式如下：=(1-IoU)+（7）=42()arctanwgthgt-arctanwh2（8）式中：w、wgt分别是预测框和真实框的宽度；h、hgt分别是预测框和真实框的高度。CIoU Loss 考虑了边界框回归的重叠面积、中心点距离和纵横比，但忽略了纵横比描述的是相对值，存在一定的模糊，阻碍了模型优化的有效性。针对这一问题，本文将采用 SIoU16损失函数替换 CIoU 损失函数。SIoU损失函数计算公式如下：LSIoU=1-IoU+2（9）式中：IoU是预测框和真实框之间的交并比；是角度成本；是形状成本。和的计算公式如下：=t=w,h(1-e-t)（10）=t=x,y1-e-t（11）式中是对形状成本的关注。、和的计算公式如下：x=()bgtcx-bcxcw2（12）y=()bgtcy-bcych2（13）w=|w-wgtmax(w,wgt)（14）h=|h-hgtmax(h,hgt)（15）=1+2 sin2()arcsin()ch-4（16）式中，ch和的计算公式如下：ch=max(bgtcy,bcy)-min(bgtcy,bcy)（17）=(bgtcx-bcx)2+(bgtcy-bcy)2（18）式中：bgtcx、bgtcy、bcx、bcy是目标物体真实框与预测框中心坐标。SIoU 通过引入角度成本，重新定义了回归距离损失，加快了网络的收敛，可以有效地提升网络模型的精度。2 实验结果与分析2.1 实验环境本文采用深度学习框架 Pytorch，实验平台为 64 位Windows 10系统，Python版本为 3.9.12。其他相关配置与参数如表2所示。表2 配置与参数NameCPUGPUCUDACUDNNConfigurationAMD Ryzen 3600 NVIDIA RTX 3060 CUDA11.3CUDNN8.2ParametersLearning RateOptimizerBatch sizemomentumValue0.01SGD160.9372.2 评价指标本文采用准确率（P）、召回率（R）、平均精度（AP）和平均精度均值（mAP）等评价指标来验证算法的性能。本研究目标为单类目标，AP等同于 mAP。计算公式如下：P=TPTP+FP 100%（19）R=TPTP+FN 100%（20）AP=01P(R)dR（21）mAP=1ci=1cAPi（22）式中：TP是算法检测出正例的数目；FP是错误检测的数目；FN为正例没有检出的数目；平均精度AP是PR曲线下面积（综合考虑P与R两个参数）。2.3 数据集本研究以欧卡智舶公司采用无人船拍摄的图片与视频为主要数据来源。数据集是在水面不同角度采集的，其中以小目标居多（Area3232 像素）。将采集的图片和视频通过 Python 编写的程序分割为 640640 的图片共6 696张，然后按照7 2 1比例划分训练集、验证集和测试集。数据集样本如图 5所示。对标签数据进行目标中心位置及宽高整体分析，如图 6、图 7所示，目标在图中分布较为均匀。2.4 损失函数收敛对比本文基于 YOLOv5 的基础网络模型，进行实验研究并绘制两种不同损失函数的迭代次数变化曲线，如刘尧兵，等：基于YOLOv5DSC的漂浮物目标检测147现代电子技术2023年第46卷图8所示。图5 数据集样本图6 相对中心位置分布图图7 相对宽高分布图图8 损失函数对比图通过对比两个损失函数的曲线，发现 SIoU 损失函数的收敛速度更快，而且最终的收敛值也更小。因此，本文决定采用 SIoU 作为模型的损失函数，以提高模型的训练效果和准确性。2.5 实验结果分析本文通过一个消融实验来探究基于 YOLOv5 算法的三个改进点：注意力机制 SimAM、DSCSP模块和 SIoU损失函数对于目标检测的效果提升。实验结果如表 3所示，展示了基于 YOLOv5 算法的改进点的效果提升。首先，在基础算法里加入注意力机制 SimAM 提升了准确率、召回率和平均精度均值，可以使算法抑制干扰信息，更加准确地检测目标；其次，特征融合网络采用DSCSP模块，提升了算法的召回率，使目标检测更准确地定位目标；最后，采用 SIoU损失函数提升了算法的准确率、召回率和平均精度均值，可以提高目标检测性能。将上述三类改进点应用于基线 YOLOv5算法时，可以观察到在多个评价指标方面均有显著提升。算法的准确率提升了1.7%，召回率提升了2.5%，平均精度均值提升了1.2%，这些改进点的应用优化了算法的整体表现。表3 消融实验结果ModelbaselineSimAMDSCSPSIoUP/%95.197.395.596.596.8R/%94.696.29696.297.1mAP/%97.398.497.998.198.5为了验证本文方法对水面漂浮物检测性能的有效性，与 YOLOv3、YOLOv4 和 Faster RCNN 等模型进行性能对比，各网络的性能指标对比结果如表4所示。表4 不同网络实验结果对比ModelFaster RCNNYOLOv3YOLOv4YOLOv5YOLOv5DSCmAP/%88.2596.496.997.398.5检测速度/（f/s）6.73754.3125145由表4可见，在漂浮物的检测识别中，本文YOLOv5DSC算法的平均精度均值达到了 98.5%，检测性能优于其他算法。相比较于 Faster RCNN网络，本文算法的平均精度均值提高了 10.25%，相比于 YOLOv3和 YOLOv4网络，本文算法的平均精度均值分别提高了 2.1%和148第22期1.6%。同时，图像检测帧数的速度比较结果表明，本文算法在实时性能方面表现优异，检测速度快，能够实现145 f/s的高速检测。为了证明 YOLOv5DSC 算法对漂浮物检测的有效性，选取不同场景、不同角度的漂浮物进行检测，与基线YOLOv5网络模型的检测效果进行对比，结果如图 9所示。从以下场景对比图可以看出，无论远且小的目标，还是有波纹场景，抑或多目标检测，改进的 YOLOv5DSC目标检测算法都比原 YOLOv5算法的置信度较高。结果表明，改进的算法在漂浮目标检测识别中更有效。图9 检测结果对比3 结 论本文提出一种水面漂浮物检测识别网络 YOLOv5DSC。通过在基线YOLOv5网络中引入无参数注意力机制、基于深度可分离卷积的 DSCSP 模块和采用 SIoU 损失函数等优化方法，提高了算法的准确性。在漂浮物数据上获得了 96.8%的准确率、97.1%的召回率和 98.5%的平均精度均值。实验结果表明，该算法在漂浮物检测识别能力方面优于其他算法。然而，本文的检测识别范围仅限于水面塑料瓶这一类别。在真实水面环境中，存在着其他类型的漂浮物，因此需要对数据集进行类别扩增，以完善数据集。此刘尧兵，等：基于YOLOv5DSC的漂浮物目标检测149现代电子技术2023年第46卷外，还需要对网络结构进行轻量化处理，便于移动端部署。综上所述，本文提出的YOLOv5DSC 算法在漂浮物检测识别能力上表现良好，但仍需要进一步改进才能满足实际应用需求。注：本文通讯作者为张建杰。参考文献1 ZAILAN N A,KHAIRUDDIN A S M,KHAIRUDDIN U,et al.YOLO based network fusion for riverine floating debris monitoring system C/2021 International Conference on Electrical,Communication,and Computer Engineering(ICECCE).Seoul:IEEE,2021:15.2 ZOU S H,PENG L,FANG N S.Realtime detection method of surface floating objects based on deep learning C/2020 19th International Symposium on Distributed Computing and Applications for Business Engineering and Science(DCABES).Xuzhou:IEEE,2020:174177.3 LIN Y,ZHU Y,SHI F,et al.Image processing techniques for UAV vision based river floating contaminant detection C/2019 Chinese Automation Congress(CAC).Hangzhou:IEEE,2019:8994.4 ZHANG L,WEI Y,WANG H,et al.Realtime detection of river surface floating object based on improved refinedet J.IEEE access,2021,9:8114781160.5 CHENG Y,ZHU J,JIANG M,et al.Flow:a dataset and benchmark for floating waste detection in inland waters C/Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal,QC,Canada:IEEE,2021:1095310962.6 许德刚，王露，李凡.深度学习的典型目标检测算法研究综述J.计算机工程与应用，2021，57（8）：1025.7 雷李义，艾矫燕，彭婧，等.基于深度学习的水面漂浮物目标检测评估J.环境与发展，2019，31（6）：117120.8 陈运军.基于 VGG的湖面塑料制品漂浮物识别J.塑料科技，2020，48（8）：7780.9 李国进，姚冬宜，艾矫燕，等.基于改进YOLOv3算法的水面漂浮物检测方法J.广西大学学报（自然科学版），2021，46（6）：15691578.10 刘伟，王源楠，江山，等.基于 Mask RCNN 的水面漂浮物识别方法研究J.人民长江，2021，52（11）：226233.11 IOFFE S,SZEGEDY C.Batch normalization:accelerating deep network training by reducing internal covariate shift C/International Conference on Machine Learning.Lille,France:ACM,2015:448456.12 LIN T Y,DOLLR P,GIRSHICK R,et al.Feature pyramid networks for object detection C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.S.l.:IEEE,2017:21172125.13 LIU S,QI L,QIN H,et al.Path aggregation network for instance segmentation C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Palace:IEEE,2018:87598768.14 YANG L,ZHANG R Y,LI L,et al.Simam:a simple,parameterfree attention module for convolutional neural networks C/International Conference on Machine Learning.Sanya:PMLR,2021:1186311874.15 HOWARD A G,ZHU M,CHEN B,et al.Mobilenets:efficient convolutional neural networks for mobile vision applications EB/OL.20221214.http:/www.arxiv.org/abs/1704.04861.16 GEVORGYAN Z.SIoU loss:more powerful learning for bounding box regression EB/OL.20230117.https:/arxiv.org/abs/2205.12740.作者简介：刘尧兵（1995），男，四川射洪人，硕士研究生，主要研究方向为计算机视觉。张建杰（1973），男，河南上蔡人，博士，教授，研究方向为图像处理、计算机视觉。刘 丹（1997），女，四川德阳人，硕士研究生，主要研究方向为计算机视觉。徐鸿哲（1997），男，浙江慈溪人，硕士研究生，主要研究方向为计算机视觉。150