基于改进YOLOv7的绝缘子缺失检测方法.pdf

第23卷第7期黑龙 江 工业学院学报(综合 版)Vol.23No.72023年7月JOURNALOFHEILONGJIANGUNIVERSITYOFTECHNOlGY(COMPREHENSIVEEDITION)Jul.2023文章编号:2096-3874(2023)07-0083-08基于改进YOLOv7的绝缘子缺失检测方法余一聪1，何领朝2，蔡荣贵1，洪家军1(1.甫田学院新工科产业学院，福建甫田351100;2.福州数据技术研究有限公司，福建福州350200)摘要:绝缘子是输电系统中的重要元器件，长期暴露在室外环境很容易出现缺失，绝缘子缺失会增加输电线路故障停运的风险。因此，绝缘子状况早期判断显得十分重要。提出一种基于改进YOLOv7算法的绝缘子缺失检测方法，通过元人机采集输电线路中的绝缘子图像数据，然后利用改进算法强大的特征提取能力，学习从样本照片中检测绝缘子，并且区分绝缘子正常与否。实验结果表明，该方法策略在测试集上的MapSO达到了99.03%，精度较原来YOLOv7算法提升了1.07%，可以有效区分绝缘子是否存在缺失。关键词:绝缘子;目标检测;注意力机制;缺失判别中图分类号:TP391.41:TP183文献标识码:A1研究背景随着电力系统智能化水平日益提升，人们对电力系统的日常安全稳定运行提出了更高需求。绝缘子是输电系统中的重要元器件，数量庞大，长期暴露在室外环境下很容易出现故障，对电力系统的安全稳定运行造成严重的影响。我国疆土辽阔，地形复杂，输电线路经常需横跨山河湖JIf，电力系统的巡线任务采用传统的人工巡检方式人力成本太高，对工作人员的素质要求严格，同时易受复杂的自然环境影响，特别对偏远山区的输电线路的检查，更加花时超力，甚至由于作业难度太大，难以完成或者完成的质量不高。为获取输电线路运行状况，同时降低巡线成本，提高巡线效率，电力部门逐渐开始用元人机巡检替代人工巡检。元人机巡检不受天气、环境影响，节约了人力物力，同时也拍摄了大量的现场照片，为后续算法训练做了重要的数据储备。目前大部分检测方法是基于单步检测法和两步检测法。两步检测法精度较高，但消超计算资源较多，花时较长，不利于落地部署。单步检测法消超资源较少，但精度较低。为解决上述问题，本文在YOLOv7算法的基础上，通过增加CHAM注意力机制结构，并采用线上线下增强相结合模式，提出一种基于改进的YOLOv7算法，称为YOLOv7_CHAM，并应用到绝缘子缺失检测领域中。该算法利用YOLOv7算法强大的特征提取能力，学习从样本中检测绝缘子，并判断绝缘子正常与否。实验结果表明，该方法模型能够兼顾精度和速度，可以有效区分绝缘子是否存在缺失现象。本研究主要贡献有以下三点。(1)在原来YOLOv7算法基础上增加CHAM注意力机制结构，有助于网络模型在大面积覆盖图像中定位感兴趣区域。(2)将改进YOLOv7算法应用到绝缘子缺失检测领域，提升了绝缘子缺失的检测精度，节省了人力与时间成本。(3)采用线下与线上增强相结合模式，增加了样本多样性，利于提升检测的精确度。作者简介:余一聪，硕士，背田学院新工科产业学院。研究方向:目标检测、路径规划。通讯作者:洪家军，硕士，副教授，背田学院新工科产业学院。研究方向:目标检测、网络安全。基金项目:青田学院科研项目基于多层注意力机制的密集目标检测方法研究(项目编号:2023043);福建省教育厅中青年教师教育科研项目基于视图不变的人体行为识别模型研究与应用(项目编号:JAT220300)。83第7期黑龙江工业学院学报(综合版)2023年2相关研究当前，计算机视觉识别图像已成为学术界、工业界的一个主流研究方向。计算机视觉检测方式分为单步检测法和两步检测法。两种不同策略的性能对比如表1所示，两步检测法精度较高，但消超计算资源较多，花时较长，不利于落地部署。单步检测法消超资源较少，但精度较低。表1不同策略性能对比策略模型复杂度速度精度单步检测法简单快低两步检测法复杂慢较高ZuoD等1提出 了一种基于计算机视觉复杂背景下的直升机空中绝缘子成像缺陷检测算法，该算法先通过特征提取，训练并获取到一个具有检测和定位功能的绝缘子分类器，针对绝缘子进行一系列数字图像处理并分割，最后利用分割好的绝缘子像素，分析确定绝缘子是否有缺陷。GuoF等2提出了一种基于YOLOv3的检测算法，对拍摄的绝缘子图像进行检测和分类，最终实现了对正常绝缘子和缺陷绝缘子的智能检测。LiuX等3提出了一种基于Fa眠rRCNN的绝缘子故障检测方法，该方法包括一个卷积网络、区域网络和目标检测器，实现对绝缘子缺失区域的检测，该检测方法虽精度有所提升，但两步检测消超计算资源较多，花时较长。YOLO系列算法是一种基于端到端的单步检测模型，通过将目标检测任务视为回归问题，只需用一个神经网络就能同时预测出目标的类别和位置，相比其他算法，检测速度有了很大提升4。YOLOvl作为YOLO系列开山之作，其最大的缺陷是精度不高，在PASCALVOC上的检测精度达到63.4%，虽不如FastRcnn的73.2%，但其45FPS的检测速度已完全能够满足实时检测要求，况且该算法在精度上有很大的提升空间。YOLOv2在YOLOvl基础上改进，在略微牺牲检测速度的情况下提升检测精度。后续版本如YOLOv3、YOLOv4等如法炮制，增加多种改进如多尺度特征融合、锚框、注意力机制、数据增强等技术进一步提升检测精度。YOLOv7模型是由AlexeyBochkovskiy等在2022年提出的，算法相较于之前提出的YOLOv484在精度和速度上都有很大提升5。在MSCOCO数据集上5FPS到160FPS范围内，速度和精度上表现优于YOLOR.YOLOX、YOLOv5、DETR等算法。YOLOv7-E6比基于Transformer的检测器SwinCascade-MaskRCNN速度快509%，精度高2%，比基于卷积的检测器ConvNeXt-XLCascade-MaskRCNN6速度快551%，精度高0.7%。3基于改进YOLOv7网络的绝缘于缺失检测方法3.1数据集原始绝缘子数据集由1000张图像组成。材料上包括橡胶绝缘子、玻璃绝缘子、陶瓷绝缘子。结构上包括单绝缘子串和双绝缘子串。总共分为三类标签，分别是:正常绝缘子串NormaLinsulator、包含缺失的绝缘子串Defective_insulators、缺失绝缘子串Insulators_fault。3.2数据增强数据增强分为线下增强和线上增强两种处理。线下增强:对数据集中的图像进行反转、随机调整亮度、随机裁剪、旋转等增加样本多样性，以便增加样本数量7。线上增强:在输入网络模型前，对样本进行翻转、调整亮度、Mosaic、随机裁剪、Mixup8、Copy_paste9等，并且一般不改变样本数量。为了增强数据，本研究采用线下增强采用随机翻转、随机改变亮度对比度策略，把样本增强至8084张。线上增强采用 随机左右翻转、Mosaic、Mixup、Copy_paste。3.3改进YOLOv7网络模型YOLOv7网络的主要成就包括以下四点:(1)设计了几种Bag-of-freebies方法，可以在不增加推理成本的情况下提高检测精度。(2)发现了两个新问题，一是重参数化模块如何替换原始模块，二是动态分配策略如何分配给不同输出层问题，并针对这两个问题给出解决方案。(3)提出实时目标检测扩充方法和符合扩充方法，可以有效计算和设计参数。(4)减少约40%的参数和50%的计算量，并且表现出更快的推理速度和更高的检测精度。网络坐标损失采用CIoULoss，目标置信度损失与分类损失均采用BCEWith-LogitsLoss，如式(1)所示。第7期基于改进YOLOv7的绝缘子缺失检测j方法2023年LClOU=1-IOU(A,B)+p2(A耐，Bctr)/c2+.vlo=-wnCYo logxo+(1-yJ.log(1-凡)(5)CBAM块是一个简捷有效的注意力机制模块，如图1所示，该模块融合了通道注意力机制和空间注意力机制，能快速集成到卷积神经网络中，实现端到端训练。通道注意力机制与时频变换类似，它为不同通道分配不同大小的权重，以衡量通道与关键信息之间的相关性，并间接地提高对关键信息的关注度。空间注意力机制则将不同的权重分配给特征图中的不同区域，以增强重要区域的信息，削弱非重要区域的信息。通道注意力机制筛选与目标相关的通道信息，而空间注意力机制关注与目标相关的位置信息。(3)(2)(1)式(1)中，由、分别满足式(2)和式(3)。4,wgtW2自=丁amtanF-aIICtan引7T飞nnIv(1-IOU(A,B)+v式(2)和式(3)中，A表示预测框，B表示真实框，wgt与F表示真实框B的宽与高，与h表示预测框A的宽与高，p表示框A与B之间的欧式距离，C为框A与B最小包围框的对角线长度，IOU(A，B)表示框A与B之间交并比，如式(4)所示。LBCEWithLogits=ll,l2,lol(4)n表示Batchsize，其中lo满足关系式(5)。/通道注意力机制模块空间注意力机制模块输入特征/1输出特征臼Sf0飞S)工工vt 一图1CHAM模块结构在卷积层输出后，经过通道注意力模块加权能力。处理后，特征会再进入空间注意力模块进一步加本文改进YOLOv7网络模型如图2所示，其中权处理，最终输出加权结果。该结构结合通道和YOLOv7网络中各模块结构如图3所示。通过将空间两个维度的注意力机制模块，不仅能有效减CBAM模块添加到阻P模块前，有助于网络在大少参数和计算力，还能作为即插即用的模块集成面积覆盖图像中定位感兴趣区域。到现有网络架构中去，以便进一步提高特征提取呻(CBSz j蝴哺CBS-由弘因1/81116i图2改进YOLOv7网络模型85第7期黑龙江工业学院学报(综合版)2023年ELk=日=ELkH=SPPCSPC=(CBSICon.工吕图3YOLOv7各模块结构示意图度、随机剪切等，标签同时随着样本增强改变;对增强后的样本进行随机切分，分为测试集和训练集，本方法采用的切分比例为测试集:训练集=1:9;最后将增强后的训练集样本进行批量线上增强，然后输入到改进YOLOv7网络模型进行训练;最后保存训练好的权重，在测试集上进行结果验证。4实验设计及结果4.1实验设计实验设计流程主要包括以下几步，如图4所示，首先获取数据集;对获取到的数据集进行打标签，主要标注类别以及目标所在样本中的位置坐标;对所有样本进行线下增强，方法包括随机旋转、改变亮(7)LAPimAP=二Ln式(7)中，APi表示第i类目标AP值，n表示图4实验设计流程的准确性。IOU(交并比)用来衡量候选框与标记框重叠率，取值为O到1。当使用不同的预设IOU值，检测目标的召回率Re与精确度P，也不同。P-R曲线表示取不同IOU值，精确度P，与召回率Re形成的曲线。AP表示P-R曲线与坐标轴围成的面(6)积，类别AP值越大，表示模型对该类别的检测效果越好。mAP表示所有类别目标的AP均值，如式(7)所示。4.2评价指标实验评价指标包括P，(精确度)、AP(每个分类的平均精度)、mAP(平均精度均值)、Re(召回率)。精确度与召回率的求解如式(6)所示。TR.=一Tp+FNT.P-=一_ITp+Fp式(6)中，Tp是正样本正确识别为正样本的样本数目，凡是负样本被错误识别为正样本的样本数目，Fn是正样本被错误识别为负样本的样本数目。召回率表示算法从数据集中找回正样本的能力，精确度用来衡量算法从数据集中找出正样本86第7期基于改进YOLOv7的绝缘子缺失检测j方法2023年需要检测的目标个数。mAP越大，表示算法的整体性能越好。4.3对比实验结果本研究选用YOLOv5、YOLOv7、FasterRCNN.SSD算法作为对比算法。YOLOv5网络模型选用YOLOv5m、YOLOv5n、YOLOv5s，样本输入尺 寸选用640 x640大小，均训练30个Epoch，且均在官方给出的模型上进行调优。本文改进的YOLOv7与非YOLO系列模型FasterRCNN.SSD的实验对比结果如图5和图6所示，其中图中标记的YOLOv7_CHAM是本文改进的方法。t串08OJ5(.4由，2也由咽，矗L月霄回/f旷IIIJr可r旷叫jJ可r响加￥巴山￥JC脑网阳AP0.5阳瓣胁F晶ste成C剖NtmAP0,5路。如城P晤.s部2吉写2910/2915129部始仨h2012925/29图5非YOLO系列实验对比结果(mAP_O.5)R8也毡但4。，20.0部2951291自12915129醋。价2012925/29图6非YOLO系列实验对比结果(mAP_O.5:0.95)图5中mAP_0.5记为将IOU设为0.5时的YOLOv7的预训练模型泛化性要优于FasterRCNN、mAP值，mAP_0.5:0.95记为在不同IOU阔值，从SSD。改进YOLOv7算法曲线提前进入高位平稳0.5到0.95，步长为0.05上的平均mAP。状态，表明在该检测任务上改进YOLOv7算法检测由图5和图6可以看出，改进YOLOv7算法性能要大大优于FasterRCNN.SSD的检测效果，且mAP曲线起始值均 大于FasterRCNN、SSD，表明改进YOLOv7模型收敛性和泛化能力比FasterRC-87第7期黑龙江工业学院学报(综合版)2023年NNSSD更强。在进行改进的YOLOv7与同为YOLO系列的官方YOLOv7、YOLOv5m、YOLOv5nYOLOv5s的实验对比，如图7和图8所示，改进YOLOv7和官方的YOLOv7趋势接近，它的时P_O.5与mAP_O.5:0.95起时值均比YOLOv5大，这表明YOLOv7的预训练模型泛化性要优于YOLOv5。改进YOLOv7与YOLOv7的时P_O.5曲线均在YOLOv5上方，且提前进入平稳状态，这表明在检测任务上YOLOv7算法检测性能优于YOLO币，且模型收敛性较强。改进YOLOv7与YOLOv7的时P_0.5:0.95曲线同样在YOLOv5上方，在YOLOv5已经达到收敛状态时，改进YOLOv7与YOLOv7曲线不仅在上方，且仍呈上升趋势，表明在YOLOv5性能达到瓶颈时，改进YOLOv7与YOLOv7仍具有上升优化空间。而单独对比改进YOLOv7与YOLOv7曲线，发现改进YOLOv7曲线均在官方YOLOv7模型上方，改进YOLOv7精度达到了99.03%，由于YOLOv7的精度已经很高，因此在图8中表现不太明显。怠。to0.8缸羁M112f劈vr帽H刊俨/#11二/rfl二响啊制响Y YOO盼LEEVV77阳tAPGSgs甲骨YOLOv5m1mAP少5呻a攒.WWLOVS snufmmA APFOaSs部29Sf2910/2915129部恍如2Qf2925129图7改进YOLOv7与YOLO系列的模型实验对比结果(mAP_O.5)0.8挂在由A0,2。，。YOLOv7CBAM/mAP0.5;0,95YOU队17/mAP05:0,95YOtOv5m/mAP 0,5,0,95YO盼吟n/mAP0,5:(L95部2曹日2910129活12曹世P也ell20/2925/2988图8改进YOLOv7与YOLO系列的模型实验对比结果(mAP_o.5:0.95)第7期基于改进YOLOv7的绝缘子缺失检测j方法2023年进一步分析图7与图8的数据，可以发现同时训练20Epoch时，改进YOLOv7算法的时P_0.5:0.95值分别比官方YOLOv7.YOLOv5rn、YOLOv5s、YOLOv5n高了近0.4%、8.25%、20.15%、38.54%,mAP_O.5的值提高了近1.07%、1.13%、4.04%、8.26%。这完全可以表明改进的YOLOv7模型是完全有效。基于改进YOLOv7模型在应用效果中的部分推理结果，表明本文提出的方法能够有效区分绝缘子是否存在缺失，判断并标注缺失的位置，如图9所示。图9改进YOLOv7网络推理结果结语绝缘子是输电系统中的重要元器件，本文提出基于改进YOLOv7的绝缘子缺失检测方法，采用线上增强与线下增强相结合的数据增强模式，增加了样本多样性，利用改进YOLOv7算法强大的特征提取能力，从样本中检测绝缘子，判断绝缘子正常与否并标记位置。实验结果表明，该方法模型在测试集上的时P_0.5(又称为Map50)达到了99.03%，精度较原来YOLOv7算法提升了1.07%,能够有效区分绝缘子是否存在缺失。另外，本方法仍有一些不足之处，如绝缘子在图像中占比较小时，识别将受到影响。在采集图像时，外界的天气、环境中的浮尘以及拍摄角度等因素，都会导致获得的图像存在噪声，这种噪声会对图像质量产生负面影响，如降低对比度、模糊图像特征等，进而影响识别的准确性。参考文献1JZuoD,HuH,QianR,etal.Aninsulatordefectdetec-tionalgorithmbasedoncomputervisionCJ112017IEEEIn-ternationalConferenceonInfo口nationandAutomatio叫ICIA).IEEE,2017:361-365.2JGuoF,HaoK,XiaM,et al.Detectionofins肌lSU创u阳0町rd由ef如阳创创tsb阳as叫edonYOLOV3叫3盯刊CJII刀II帕n时眈t忧erna删Ii叫Con曲由e臼renceonAr-tificialIntelligenceforCommunicationsandNetworks.SpringerCham,2019:291-299.3JLiuX,JiangH,ChenJ,et al.Insulatordetectioninaerialima吕esbasedonfasterregionswithconvolutionalneuralnetworkCJI12018IEEE14thInternationalConferenonControlandAutomation(ICCA).IEEE,2018:1082-1086.4JRedmonJ,Divvala S,GirshickR,etal.Youonlylookonce:Unified,real-timeobjectdetectionCJIIProceedingsof由eIEEEconferenceoncomputervisionandpattern11创ogmtion.2016779-788.89第7期黑龙江工业学院学报(综合版)2023年5JW吨CY,BochkovskiyA，出HYM.YOLOv7:Trainableb吨-of-freebi创setsnewstate-of-the-artforreal-timeobjectdetectorsJJ.arXive-print，2但2:2207.6JLiuZ，MH,Wu CY,et al.Aconvnetforthe2020sCJIIProceedings oftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2022:11976-11986.7J吴方园，李燕，梅旋，等.基于改进的YOLOv3火灾检测算法研究JJ.黑龙江工 业学院学报(综合版),2023,23(01):63-70.8JZhangH，Ci附M，DauphinYN,et al.mixup:BeyondempiricalriskminimizationJJ.arXiv e-print,2017:1710.9JKisan时M，WojnaZ,MurawskiJ,et al.A咱阳归tionforsmallobjectdetectionJJ.arXiv e-print,2019:1902.lOJ曹小喜，程凡永，王飞NI.基于改进YOLOv4-tiny的口罩佩戴实时检测算法JJ.黑龙江工业学院学报(综合版),2022,22(02):64-71.AnInsulatorFailureDetectionMethodBasedonImprovedYOLOv7YuYicong1,HeLingchao2,CaiRong伊iI，HongJiajun1(1.New EngineeringIndustrCollege，Putian University,Putian,Fujian 351100,China;2.Fuzhou DataTechnology Research Institute Co.,Ltd,Fuzhou,Fujian 350200,China)Abstract:Insulators are an important component of the transmission system and are prone to failures whenexposed to outdoor environments for long periods of time.Insulator failures increase the risk of transmission linefault outages.Therefore,early determination of insulator condition isveimportant.An insulator failure detec-tion method based on the improved YOLOv7 algorithm is proposed,in which insulator image data in transmissionlines are collected by an unmanned aircraft,and then the powerful feature extraction capability of the improvedYOLOv7 algorithm is used to learn to detect insulators from sample photos and todistin伊ishinsulators normal ornot.The experimental results show that the method strategy achieves a Map50 of99.03%on the test set,wi也an accuracy improvement of 1.07%comparedwi曲 曲eoriginal YOLOv7 algorithm,and can effectively distin-guish whether insulators are failed or not.Keywords:insulator;object detection;attention mechanism;failure discriminationClassNo.TP391.41TP18390DocumentMarkA(责任编辑:宋春莲)