基于改进的Yolo v4绝缘子目标识别算法研究.pdf

的期May2023Journal of JilinUniversity(InformationScienceEdition2023年5月No.3Vol.41吉林大学（信息科学版）第3期第41卷文章编号：16 7 1-58 96（2 0 2 3)0 3-0 545-0 7基于改进的Yolo v4绝缘子目标识别算法研究许爱华，陈佳韵，张明文，刘浏（东北石油大学电气信息工程学院，黑龙江大庆16 3318）摘要：针对传统卷积神经网络模块体积庞大、运算量高，在体积较小、资源有限的嵌人式平台上运行效果不好，以及现有轻量化模块无法满足测量速度和测试精确度要求的问题，为此选择目前的主流目标识别算法Yolov4进行模型轻量化，在Yolov4模型中引入Mobilenet网络和深度可分离模块进行研究。研究结果表明，改进后不同Mobilenet网络的Yolov4模型检测一张图片的用时均比原始Yolov4模型减少19ms以上，准确率都高于92%。其中以Mobilenetv3为主干特征提取网络的改进Yolov4模型的准确率为95.12%，与原始Yolov4模型准确率相比提高2.99%，但该模型的参数量约为Yolov4模型的1/6，模型处理一张巡检图片用时比原Yolov4模型减少2 0 ms。绝缘子作为输电线路的重要组成部分，在众多图像中更快地识别出绝缘子能为之后分析输电线路的运行情况提供帮助。关键词：绝缘子；Yolov4模型；深度可分离卷积块；Mobilenet网络中图分类号：TP391；T M 2 16文献标志码：AResearch on Insulator Detection Algorithm Based on Improved Yolo v4XU Aihua,CHEN Jiayun,ZHANG Mingwen,LIU Liu(School of Electrical and Information Engineering,Northeast Petroleum University,Daqing 163318,China)Abstract:Convolutional neural network model has the disadvantages of large volume,high computation and poorperformance in small and resource limited embedded platform.The existing lightweight model can not take intoaccount the detection speed and accuracy.The mainstream target detection algorithm Yolo v4 is selected tolighten the model,and the mobilenet network and depthwise deparable convolution are used in Yolo v4 model.The results show that compared with the original Yolo v4 model,the improved Yolo v4 model of differentmobilenet networks can process an image about 19 ms faster on average,and the accuracy rate can reach morethan 92%.The accuracy rate of the improved Yolo v4 model with mobilenet v3 as the backbone featureextraction network is 95.13%,which is 2.99%higher than of the original Yolo v4 model.The parameter of thismodel is about 1/6 of Yolo v4 model,and the model can process a patrol image 20 ms faster than the originalYolo v4 model.Insulator is an important part of transmission line,The identification of insulators in many imagescan help to analyze the operation of transmission lines.Key words:insulator;Yolo v4 model;deep separable convolution block;mobilenet networks0引言输电线路巡检是电力部门的日常工作，绝缘子在线路中起着重要的绝缘和支撑作用，由于其长暴露在户外，面临雷电、污移等挑战，通过及时检测绝缘子的运行状态能预防因为绝缘子故障导致收稿日期：2 0 2 2-0 3-18基金项目：国家自然科学基金资助项目（517 7 40 8 8）；黑龙江省自然基金资助项目（LH2019E016）作者简介：许爱华（198 0 一），男，江苏徐州人，东北石油大学副教授，主要从事电气系统及设备状态监测、故障诊断与健康评估研究，（Tel)86-13704666200（E-ma i l)d q x a h 16 3.c o m；通讯作者：陈佳韵（1997 一），女，江西萍乡人，东北石油大学硕士研究生，主要从事电网安全稳定运行研究，（Tel)86-18179650898（E-ma i l）8 0 932 57 6 5 16 3.c o m。吉林大学报（信息科学版）546第41卷电网事故的发生。目前，无人机巡检是国网常见的巡检方式之一，利用无人机拍摄采集绝缘子串照片，并将其传送服务器，再由计算机视觉算法实现对绝缘子串的状态识别和故障诊断。虽然无人机巡检可以减少人力，但采集到的绝缘子图片随巡检范围的扩大呈指数级的增加，实时处理大量的图片对处理器和通信网络是一个巨大的挑战，若能在机载或移动端对初步图像进行实时智能识别，不仅能缓解巡检人员的工作压力，还能为之后绝缘子检测技术奠定基础。常见的绝缘子识别方式主要有人工、传统图像和深度学习目标识别3种方式。人工识别需要巡检人员现场对绝缘子进行检测，该方法不仅耗费大量的资源而且存在危险；传统图像识别主要依据颜色、形状、纹理特征这3类在巡检图像中识别出绝缘子。王胜等 1 提出一种多特征显著性融合的绝缘子识别算法，该算法利用颜色直方图计算绝缘子的颜色显著性，再利用梯度直方图计算梯度显著性，最后利用灰度共生矩阵计算纹理显著性。根据空间位置关系和以上3个显著性值进行多特征显著性加权融合，该算法依据特征值大小显示检测结果，再利用旋转卡壳法提高准确率。张子健等 2 利用多层级特征融合后获得掩膜图，再利用二值化边缘提取绝缘子轮廓，最后利用Hu不变矩进行故障诊断。通过对比结果对绝缘子进行检测，当背景存在杆塔等干扰时，该方法也会对杆塔进行边缘提取，因此会降低识别精度。吴军等 3 通过对Yolo模型进行优化，引入Mosic数据增强、CSPDarknet-tiny网络、Leaky激活函数等提高模型预测的准确率和设备的定位精度。现实中的巡检图像背景非常复杂，其包括山林、田野等，传统的目标识别方法对绝缘子的分割识别效果不佳，难以满足巡检人员的要求。随着图像识别技术的发展，将深度学习应用于绝缘子识别中能有效改善传统检测方法的不足。杨罡等 4 提出采用Yolo的无人机绝缘子缺失检测法，结合传统算法中提取候选框和特征分类两个步骤，使用一个深度卷积网络在保证精度的同时加快检测速度。郑含博等 5提出基于Yolov3电力设备红外检测模型，利用跨阶段局部模块和路径聚合网络对Yolov3模型进行优化进而提高模型的准确率。张焕坤等 6 提出一种改进的Yolov3模型的绝缘子故障检测方法，该方法引人Dense-Yolov3网络模型（Dense-net），将其替换原始Yolov3模型中的单个卷积层，该网络系统能有效提高识别准确率。陈智羽等 7 提出一种基于Yolov3的接触网绝缘子故障检测方法，其通过在模型的主干特性提取网络中引人残差块提高对小目标的测量准确度。刘杨帆等 8 提出一种改进Yolov4的空间红外目标检测方法，以Yolov4模型框架为基础，利用k-means聚类算法提高目标的检测精度，但模型参数量依然很多并且模型体积较大。张倩等19提出一种基于反馈机制卷积神经网络的绝缘子检测方法，其通过优化LeNet_5网络和引入随机配置网络提高模型的检测率。徐建军等 10 提出一种基于层次多任务深度学习的绝缘子自爆缺陷检测模型，该方法使用Reset神经网络作为特征提取网络，在分类过程中引入多任务学习提高分类准确率。针对现有的轻量化模型无法兼顾检测速度和精度的问题，笔者首先将Yolov4模型的主干特征提取网络（CSPDarknet-53）分别替换成Mobilenetv2、M o b i l e n e t v 3网络，这2 种网络通过构建深度可分离卷积（D e p t h w i s e Se p a r a b l e Co n v o l u t i o n）改变原始网络中标准卷积的计算方式，从而降低了模型复杂度，使其能适应移动端和嵌人式设备；在原模型的加强特征提取网络的基础上，使用计算量和计算复杂度低的深度可分离卷积替代原加强特征提取网络中的33标准卷积，提高模型识别速度，减小模型参数量，最后比较了3种模型的识别效果。改进的Yolov4绝缘子识别模型原模型的主干特征提取网络替换成Mobilenet网络并获取3个初步有效特征层；在Yolov4模型引人深度可分离卷积，将加强特征提取网络中33标准卷积替换成深度可分离卷积。改进后的模型框架如图1所示。1.1深度可分离卷积标准卷积如图2 所示。利用卷积核对所有输入的特征图进行结合得到相应的输出，而深度可分离卷积首先提取输人通道的特征信息，其次映射特征信息，因此深度可分离卷积由两部分组成：深度卷积层和11卷积层。深度卷积层如图3所示，11卷积层如图4所示。利用卷积核对输人通道进行滤波，2量为D.许爱华，：基于改进的Yolov4绝缘子目标识别算法研究第3 期547得到输人通道的深度 ，并结合上一步得到的输出进行线性组合。深度可分离卷积能简化模型并减少模型计算量 depthwiseconvblockContact+CovnX5Yolo headP1MobilenetDownsamplingConv+Upsampling(depthwiseconvblock)P2P3depthwiseconvblockContact+CovnX5Contact+CovnX5Yolo headContact+depthwise conv block X35913Conv+UpsamplingDownsampling(depthwise conv bilock)Contact.CovndepthwiseconvblockContact+CovnX5Yolo headCovn图1改进Yolov4模型架构Fig.1The architecture of improved Yolo v4 model1MMDDDM-DK+N-1+N-图2标准卷积图3深度卷积层图411卷积层Fig.2Standard convolutionFig.3Depthwise convolutionFig.41 1 convolution输人特征图F，其尺寸为D,D,M，输出特征图G，其尺寸为D。D。N，其中D,为输入特征图的宽和高；M为输人通道数；D，为输出特征图的宽和高；N为输人通道数；标准卷积核尺寸为DDMN，其中D为卷积核的空间维数；M为输入通道数；N为输出通道数。标准卷积核的计算量为XD,MNDDM，深度卷积只对输人进行卷积，深度卷积的计算深度卷积核的尺寸为DDM，深度卷积只对车D,D,MDDk11卷积结合深度卷积的输出进而构建新的特征，其计算量为新的特征，其计算量为深度可分离卷积的总计算量为D,D,M N。(3)D,DMDD+MD,D,N(4)通过分为滤波和组合的过程得到对计算量的缩减为D,D,MD,DN11(5)D,D,MDD+D,D,MND笔者将主干特征提取网络生成的3个初步特征层经深度可分离卷积后输人PAnet（Pa t h A g g r e g a t i o nNetworks）和SPP网络（SpatialPyramidPooling inDeepConvolutionalNetworks）；此外，笔者还利用33的深度可分离卷积代替Yolov4模型中PAnet网络的33标准卷积，此优化操作能大量减少模型的计算量。1.2Mobilenetv2网络Mobilenetvl网络采用RELU6激活函数，在高维空间，信息经过ReLU6激活函数损失较少，但其在较低维度时，则损失较大 12 。从而导致Mobilenetv1网络中深度卷积层大部分的卷积核为0。Mobilenetv2网络如图5所示。通过引入线性激活函数解决上述问题，ReLU6激活函数在高维空间能有效增强模型的非线性使模型保持较强的泛化能力，而线性激活函数在低维空间具有良好的效果。Mobilenetv2网络在经过最第41卷吉林大学学报（信息科学版）548后一个逐点卷积降维后，在最后一层将ReLU6激活函数替换成线性激活函数Inputinverted resblockx6P1Convinvertedresblockx7P2BNinvertedresblockx4ReLU6P3图5Mobilenet v2网络结构Fig.5Network architecture of Mobilenet v2深度卷积层不能改变输人通道数，而其特征提取受限于输人通道数，为此，Mobilenetv2网络引人倒残差模块（InvertedResiduals）如图6 所示。倒残差模块输入首先经过11的卷积进行通道扩张，扩大输人通道数能有效避免信息损失，然后使用33的深度卷积提取特征，最后使用逐点卷积压缩通道数通过倒残差模块扩大深度卷积层的输人通道数进而提高模型的特征提取能力维度扩展（扩Depthwise展系数为6)卷积映射层低维输入特征高维特征高维特征低维输出特征HxWxCHxWx6CHxWx6CHxWxC图6反向残差模块Fig.6Inverted residuals1.3Mobilenet v3 网络Mobilenetv3网络如图7 所示。结合深度可分离卷积、倒残差模块（InvertedResiduals）、Li n e a rBottleneck等优化操作。Mobilenetv3网络在Mobilenetv2网络基础上进行了以下改进：1）在Mobilenetv2的输入层通过33卷积进行通道扩张；2）Mobilenetv3网络通过提前设置平均池化层节省时间。在使用11卷积进行通道扩张后，直接连接池化层和激活函数，最后使用11的卷积进行输出；3）嵌人式设备计算Sigmoid函数所需内存较大，因此，Mobilenetv3网络以h-switch作为激活函数。该激活函数能减少非线性激活函数的成本。Inputinvertedresblockx5P1Convinverted resblockx6P2BNinverted resblockx2h-switchP3图7Mobilenetv3网络结构Fig.7Network architecture of Mobilenet v3除以上优化操作外，Mobilenetv3网络还引入SE模块如图8 所示。Mobilenetv3网络在经过深度卷积后直接连接池化层，并分别通过2 个FC层（FullyConnectedLayers），将通道数缩小4倍和通道数扩大4倍，最后与深度卷积进行按位相乘。SE模块（Squeeze and Excitation Networks）通过调整每个通道的权重进而提高模型的识别精度。许爱华，：基于改进的Yolov4绝缘子目标识别算法研究549第3 期Mobilenetv3blockNLXNE.DwisePoolFC,FCReluhard-o+图8SE模块结构Fig.8Architectureof SEblock2实验结果分析2.1实验说明实验使用的10 0 0 张原始数据集图片以田野和山林为主要背景，所有图片数据都来自实际的电网无人机巡线和公开数据集CPLID（Ch i n e s e Po w e r Li n e I n s u l a t o r D a t a s e t）。原始图片经过图像预处理后的尺寸为416 像素416 像素，随机抽取出3/4作为训练集，1/4作为测试集。模型训练过程中主要参数设置如下：总训练时期为10 0；前50 时期为冻结训练，其目的为加快训练速度和防止在训练初期权重被破坏；冻结时期训练的学习率为0.0 0 1；冻结结束后模型训练的学习率为0.0 0 0 1；每批次样本数为6。深度学习框架：TensorFlow；操作系统：Windows10；显卡：NvidiaGeForceGTX1080SUPER（12 CBy t e）；CPU(Graphics ProcessingUnit)并行计算库：Cudal0.0。2.2性能与结果分析为验证笔者模型的有效性，将笔者提出的3种模型在数据集上进行实验并讨论。笔者采用7 个常见评价指标：准确率（P）、召回率（R）、PR（Pr e c i s i o n-Re c a l l）曲线、MAP（M e a n A v e r a g e Pr e c i s i o n）、每秒顿数（FPS：Fr a m e s Pe r Se c o n d）、检测同一张图片所用时间、模型参数量定量评估算法。如图9所示，同一副巡检图像在不同模型的识别效果不同。改进的模型能在背景复杂，有塔杆等遮挡物的巡检图像中准确识别出绝缘子；Mobilenetv2-Yolov4模型能识别出所有绝缘子，但绝缘子的置信度较低，对于位置较偏的绝缘子的置信度只有0.7 3；Mobilenetv3-YOLOv4模型对绝缘子的置信度都能达到0.8 3以上，还能精确定位绝缘子所在位置。图10 给出了不同模型的PR曲线，3个模型的PR曲线均在准确率为90%左右开始下降，表明3个模型均具有良好的识别精度。a Yolo v4bMobilenetv2-Yolov4cMobilenetv3-Yolov4图9模拟测试结果Fig.9Simulation test results表1和图11分别给出了不同模型在计算相同数据集的参数量以及耗费时间的比较结果。笔者对原始Yolov4模型进行了2 方面的优化从而减少模型的参数量并提高其识别速度，优化后模型的参数量约为原始Yolov4模型的1/6。以同一张巡检图片为例，Yolov4模型检测时间约为38 ms，而改进的以Mobilenet网络为主干特征提取网络的Yolov4模型检测时间均少于19ms，优化后以Mobilenetv3为主干特征提取网络的Yolov4模型约比原始Yolov4模型用时少2 0 ms。因此，改进的Yolov4模型能减小模型的参数量和提高模型识别速度，进而满足在嵌人式设备中实时识别绝缘子的需求。第41卷550吉林大学报（信息科学版）1.01.01.00.80.80.830.630.60.40.40.40.20.20.200000.20.40.60.81.000.20.40.60.81.000.20.40.60.8 1.0召回率召回率召回率a Yolo v4bMobilenetv2-Yolov4cMobilenetv3-Yolov4图10 3类模型的PR曲线Fig.10The PR curves of three model表1不同模型的参数量Tab.1Parameters of three models模型Yolov4Mobilenet v2-Yolo v4Mobilenet v3-Yolo v4参数量64 429 45010872.89311 791 741表2 为3个模型在随机挑选的测试集上的实验结果，优化后以Mobilenetv2为主干特征提取网络的Yolov4模型的FPS约为Yolov4模型的1.9倍，但该模型的MAP为8 9.8 2%，比Yolov4模型低3.13%；以Mobilenetv3为主干特征提取网络的Yolov4模型的FPS约为Yolov4模型的2 倍，准确率为91.7 0%，该模型的MAP仅比Yolov4模型低1.25%。总体而言，优化后以Mobilenetv3为主干特征提取网络的Yolov4模型在识别准确度和识别速度方面均表现良好。4030su/间20100Yolov4Mobilenetv2-Mobilenetv3-Yolov4Yolov4模型图11检测每张图片的时间Fig.11The time of detecting each image表2 3个模型性能试验结果Tab.2The experimental results of performance for three models模型MAP/%FPSPrecision/%Recall/%Yolo v492.9526.5592.1385.99Mobilenet v2-Yolo v489.8252.8992.9777.41Mobilenet v3-Yolov491.7055.1695.1279.593结语笔者采用Mobilenet网络与Yolov4模型相结合并引人深度可分离卷积替换加强特征提取网络中33标准卷积对原始模型进行改进。实验结果表明：Mobilenetv3-Yolov4模型的MAP值为91.7 0%，准确率值为95.12%，与原始Yolov4模型的MAP值为92.95%相差不大。改进模型的每秒处理顿数比Yolov4模型提高了2 倍，在CPU上处理一张416 416 分辨率的图像只需18 ms，M o b i l e n e t v 3-Yo l o v 4模型的计算量也仅为Yolov4模型的1/6。综上所述，优化后的轻量化模型对绝缘子不但具备较高的识别速度，而且能在复杂环境背景下保证较高的识别准确率，具有极大的研究空间和应用前景。后续的研究工作将进一步围绕嵌人式算法移植以及对绝缘子不同类型故障诊断展开，希望能为无人机巡线终端直接故障识别开拓一种新的可能。责任编辑：刘东亮）第3期551许爱华，等：基于改进的Yolov4绝缘子目标识别算法研究参考文献：1 王胜，陈文，匡小兵，等一种基于多特征显著性融合的绝缘子区域检测与定位算法J计算机应用研究，2 0 2 0，37(S2):351-353.WANG S,CHEN W,KUANG X B,et al.An Insulator Region Detection and Location Algorithm Based on Multi-FeatureSaliency Fusion J.Computer Applications Research,2020,37(S2):351-353.2 张子健，马吉恩，李旭峰，等。基于深度学习与Hu不变矩的绝缘子故障检测J铁道学报，2 0 2 1，43（2）：7 1-7 7.ZHANG Z J,MA J E,LI X F,et al.Insulator Fault Detection Based on Deep Learning and Hu Moment Invariants J.Journal of Railway,2021,43(2):71-77.3吴军，程绳，董晓虎，等.基于改进YOLO算法的激光清异场景目标检测方法J湖北电力，2 0 2 1，45（4）：59-7 0.WU J,CHENG S,DONG X H,et al.Laser Target Detection Method in Different Scenes Based on Improved Yolo AlgorithmJ.Hubei Electric Power,2021,45(4):59-70.4杨罡，张娜，晋涛，等.基于YOL0算法的无人机航拍图片绝缘子缺失检测 J科技资讯，2 0 18，16（2 4）：30-31.YANG G,ZHANG N,JIN T,et al.Insulator Missing Detection in Aerial Photos of UAV Based on Yolo Algorithm J.Science and Technology Information,2018,16(24):30-31.5郑含博，李金恒，刘洋，等.基于改进YOLOv3的电力设备红外目标检测模型J电工技术学报，2 0 2 1，36（7）：1389-1398.ZHENG H B,LI J H,LIU Y,et al.Infrared Target Detection Model of Power Equipment Based on Improved YOLOv3 JJournal of Electrotechnics,2021,36(7):1389-1398.6 张焕坤，李军毅，张斌。基于改进型YOLOv3的绝缘子异物检测方法J中国电力，2 0 2 0，53（2：49-55.ZHANG H K,LI J Y,ZHANG B.Insulator Foreign Object Detection Method Based on Improved YOLOv3 J.China Power,2020,53(2):49-55.7 陈智羽，闵锋基于改进YOLOv3的接触网绝缘子检测方法J武汉工程大学学报，2 0 2 0，42（4）：46 2 46 6.CHEN Z Y,MIN F.Catenary Insulator Detection Method Based on Improved YOLO v3 J.Journal of Wuhan University ofEngineering,2020,42(4):462-466.8】刘杨帆，曹立华，李宁，等基于YOLOv4的空间红外弱目标检测J.液晶与显示，2 0 2 1，36（4）：6 15-6 2 3.LIU Y F,CAO L H,LI N,et al.Space Infrared Weak Target Detection Based on YOLO v4 J.Liquid Crystal and Display,2021,36(4):615-623.9 张倩，王建平，李惟韬.基于反馈机制的卷积神经网络绝缘子状态检测方法J电工技术学报，2 0 19，34（16）：3311-3321.ZHANG Q,WANG J P,LI W T.Convolution Neural Network Insulator State Detection Method Based on Feedback MechanismJ.Journal of Electrotechnics,2019,34(16):3311-3321.10徐建军，黄立达，闫丽梅，等。基于层次多任务深度学习的绝缘子自爆缺陷检测J电工技术学报，2 0 2 1，36（7：1407-1415.XU JJ,HUANG L D,YAN L M,et al.Insulator Self Explosion Defect Detection Based on Hierarchical Multi Task DeepLearning J.Journal of Electrotechnics,2021,36(7):1407-1415.11刘欣宇，缪希仁，庄胜斌，等基于轻量级深度卷积神经网络的绝缘子检测J.福州大学学报（自然科学版），2 0 2 1，49(2):196-202.LIU X Y,MIAO X R,ZHUANG S B,et al.Insulator Detection Based on Lightweight Deep Convolution Neural Network JJ.Journal of Fuzhou University(Natural Science Edition),2021,49(2):196-202.12JHAN J M,YANG Z,ZHANG Q Y.A Method of Insulator Faults Detection in Aerial Images for High-Voltage TransmissionLines Inspection J.Applied Sciences,2019,9(10):2009-2009.