改进YOLOX的绝缘子故障实时检测方法.pdf

现代电子技术Modern Electronics Technique2023年11月1日第46卷第21期Nov.2023Vol.46 No.210 引 言随着电力系统的迅速发展，输电线路的区域不断扩大。输电线路对广大人民群众的生产生活有着较大的影响，而绝缘子作为输电线路中的重要组成部分，可以起到电气绝缘和导线连接的作用，广泛应用于高压输电线路，但由于所处环境较为恶劣，可能引起绝缘子破损、自爆等故障，对电力系统安全稳定运行构成了极大威胁1。为了保证电力系统安全运行，必须对输电线路进行定期的维护与检修2。当前，在国内大多数地方，电力巡检的方法都很陈旧，主要以人工巡检为主3。这种巡检方式不仅存在漏检现象，还要求巡检人员具备丰富的经验，严重耗费人力物力资源，已经不适应当今电网公司错综复杂的输电线路形势与发展。此外，由于庞大的数据量，单纯依靠人工识别效率较低，且容易出现差错。近几年，由于深度学习在人工智能中的兴起，高压改进YOLOX的绝缘子故障实时检测方法邓 伟1，王洪亮2（1.昆明理工大学 信息工程与自动化学院，云南 昆明 650031；2.昆明理工大学 民航与航空学院，云南 昆明 650500）摘 要：绝缘子作为输电线路中的重要组成部分，对输电线路的正常运行起到关键作用。针对传统检测算法参数多，无法满足绝缘子缺陷检测实时性的问题，提出一种基于改进YOLOX的绝缘子故障实时检测方法。首先将深度可分离卷积与主干特征提取网络相结合，减少网络计算量，以提升检测速度；其次引入简化 BiFPN，减少图片输入时计算所产生的特征图冗余和模型参数量，以降低网络复杂度；最后针对缺乏缺陷绝缘子类数据的问题，提出随机处理图片的数据增强方法。采用实验拍摄高清图片与缺陷绝缘子数据集结合，对改进的网络进行验证。结果表明，改进后的算法比原始的YOLOX算法检测速度提升13.8%，并且具有较高的平均检测精度（mAP=99.64%）。关键词：绝缘子故障；YOLOX；实时检测；深度可分离卷积；主干特征提取网络；网络复杂度中图分类号：TN911.7334；TP391.4 文献标识码：A 文章编号：1004373X（2023）21016606Insulator fault realtime detection method based on improved YOLOXDENG Wei1,WANG Hongliang2(1.Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650031,China;2.Faculty of Civil Aviation and Aeronautics,Kunming University of Science and Technology,Kunming 650500,China)Abstract：As an important part of transmission lines,insulators play a key role in the normal operation of transmission lines.Since the traditional detection algorithms have many parameters and fail to meet the requirements of realtime detection of insulator defects,an insulator fault realtime detection method based on improved YOLOX is proposed.A depthwise separable convolution is combined with backbone feature extraction network to reduce the burden of network computation,so as to increase the detection speed.A simplified BiFPN(bidirectional feature pyramid network)is introduced to reduce the redundancy of feature maps and the number of model parameters generated by the calculation when inputting images,so as to simplify the network complexity.In view of the lack of defective insulator data,a data enhancement method for random image processing is proposed.The improved network is validated by combining high definition images captured by test shot with the defective insulator datasets.The results show that the detection speed of the improved algorithm is 13.8%faster than that of the original YOLOX algorithm.In addition,the improved algorithm has higher average detection accuracy(mAP=99.64%).Keywords：insulator failure;YOLOX;realtime detection;depthwise separable convolution;backbone feature extraction network;network complexityDOI：10.16652/j.issn.1004373x.2023.21.030引用格式：邓伟，王洪亮.改进YOLOX的绝缘子故障实时检测方法J.现代电子技术，2023，46（21）：166171.收稿日期：20230322 修回日期：20230413基金项目：国家自然科学基金资助项目（62163021）166166第21期输电系统使用无人机进行巡检日趋成熟4，以更高效安全的方法进行高电压监控，在提高输电线路巡检效率的同时，还能降低检修人员的工作危险性5。对于绝缘子缺陷检测，目前常用的两种深度学习方法分别是双阶段检测器和单阶段检测器。双阶段检测器的基本思路是采用两个步骤进行检测：先产生一个有潜在对象的候选区，再根据各候选区的特征进行分级和校正。双阶段检测器的典型模型有：Faster RCNN6、Fast RCNN7、RCNN8等。单阶段检测器是一种只需进行一次特征提取即可完成的方法。单阶段检测器的代表 模 型 主 要 有 YOLO9（You Only Look Once）系 列、SSD10（Single Shot Multibox Detector）系列等。基于深度学习的目标检测技术：文献11利用改进的Faster RCNN网络进行绝缘子检测，但仅检测正常绝缘子类别，并没有进行绝缘子缺陷的检测。文献12采用改进的Faster RCNN模型进行绝缘子检测，其准确率较高，但检测效率较低。文献13提出了一种基于YOLOv5的绝缘子故障诊断方法，该方法由于检测准确率的增加而使检测速率下降，无法达到实时检测的目的。因此，利用航拍图像和深度学习技术对绝缘子进行故障诊断具有广阔的应用和研究价值，但上述模型由于网络结构复杂、计算量大，很难对故障进行实时检测。本文将轻量级 GhostBottleNeck14结构中的深度可分离卷积融合到 YOLOX15的主干特征提取网络中，有效减少 模 型 参 数；将 BiFPN（Bidirectional Feature Pyramid Network）16简化为三输入的网络结构，引入到 YOLOX的加强特征提取网络中，在不增加成本的情况下，加强多 尺 度 特 征 融 合，保 证 网 络 的 检 测 精 度。与 原 有YOLOX相比，该算法在保证高准确率的前提下，能够很好地满足绝缘子故障检测的实时性要求。1 YOLOX算法YOLOX 算法是 2021年提出的高性能检测器，其网络结构主要由四个部分构成，分别为输入端、主干特征提取网络 CSPDarknet、加强特征提取网络 FPN（Feature Pyramid Network）以及预测网络。输入端将图片处理为6406403的大小，以提升网络训练效果。主干特征提取网络 CSPDarknet 使用了Focus、Resblock body 等结构，Focus 结构通过对图片进行切片操作，在图片中每隔一个像素点取一个值，从而将 宽 高 信 息 都 集 中 到 通 道 空 间，防 止 信 息 丢 失。Resblock body结构主要由 CSPLayer、CBS和 SPP结构构成，CBS由Conv、BN、SiLU三部分组成，CSPLayer结构借鉴了 CSPNet的网络结构，该方法采用卷积和X个残差部件进行分割，然后在主干上连续地进行残差块的叠加，其余的类似残差边通过少量处理而最终完成。在加强特征提取网络部分，通过利用特征金字塔 FPN+PAN结构将强语义特征和强定位特征进行融合。在最后的预测网络部分，通过无锚点方式（Anchorfree）减少预测结果数量，完成初步筛选，再利用 SimOTA 算法对预测结果进行精细化筛选，得到最终的预测结果。YOLOX网络结构如图1所示。图1 YOLOX网络结构2 理论基础2.1 BiFPN模块BiFPN 是一种加权双向特征金字塔结构，在 BiFPN中，对输入的图像进行上、下采样和重叠处理，得到5个特征。在实际的网络构建中，基于对特性的需求，可以把BiFPN看成是一个具有多重迭代的特征网络层16。YOLOX 中特征金字塔网络（FPN）是识别不同目标尺寸的基本组成部分，但其传统的自上而下结构不可避免会受到单向信息流限制。为了解决这个问题，YOLOX 中 采 用 路 径 聚 合 网 络（Path Aggregation Network,PANet）增加了一条自下而上的聚合路径，精度更高，但也导致参数量和计算量加大。因此，本文选用的双向特征金字塔网络 BiFPN 在PANet 结构的基础上，首先删去只有一条输入边的节点，因为这些节点对融合不同特征的特征网络贡献较小，以此产生一个简化的双向网络；其次在属于同一层级的输入、输出节点间增加横向连接，从而能够在不增加成本的情况下融合更多特征；最后利用快速规范化融邓 伟，等：改进YOLOX的绝缘子故障实时检测方法167现代电子技术2023年第46卷合为不同分辨率的特征增加权重，而不是统一调整到相同分辨率再相加，打破重要性平衡，让网络能够学习到不同分辨率的特征。2.2 深度可分离卷积在轻量级网络算法中，一般采用深度可分离卷积方法，其参数数量及计算成本均低于传统的卷积运算。其关键在于把整个卷积操作分为两个阶段：逐通道卷积与逐点卷积17。假定x y z为输入图像大小。首先对各通道进行逐条卷积，并对各通道进行一次单卷积运算，卷积核大小为k k 1，个数为输入图像通道数；其次，采用大小为1 1 z的卷积核对输出特征图进行逐点卷积。假设一共有R个这样的卷积核，则输出图像大小为X Y R。传统卷积参数量表达式18为：N1=k k z R（1）深度可分离卷积参数量公式为：N2=k k z+1 1 z R（2）深度可分离卷积与传统卷积的参数量比值公式为：r=N2N1=k k z+1 1 z Rk k z R=1R+1k2（3）由于R值和k值都大于1，所以r值不超过1，因此深度可分离卷积的参数量比常规卷积要少，运算量也比常规卷积低。3 改进的YOLOX算法目前目标检测算法已广泛应用于无人机进行电力巡检，但由于较大的计算量，不利于部署在无人机上，且检测速度也得不到满足。针对绝缘子的故障诊断问题，提出一种基于改进 YOLOX 的绝缘子故障诊断方法，模型如图2所示。图2 改进后的YOLOX网络结构本文对该模型的主要改进为：将深度可分离卷积、激活函数 ReLU 与主干网络中 Bottleneck结构组合成新的特征提取网络；引入简化 BiFPN 融合更多有效特征，减少计算量的同时保持检测精度。3.1 主干特征提取网络YOLOX 的主干特征提取网络为 CSPDarknet，其主要特点是采用CSPNet网络结构将原始残差块的堆叠拆分为两个部分，主干部分用于残差块的堆叠；另外一部分相当于残差边，经过少量处理连接到末端。其中残差块堆叠部分主要使用 Bottleneck结构，在主干部分采用两次卷积和批量归一化运算，并将其添加到输入中。本文将深度可分离卷积引入到 Bottleneck结构，当要对特征层的宽高进行压缩时，设置其步长为 2。首先对输入的特征图利用11卷积进行通道的缩减，获得一个特征浓缩。用深度可分离卷积进行逐层卷积，获得额外的特征图，再由激活函数 ReLU进行非线性化操作。最后将11 卷积的结果与逐层卷积的结果进行堆叠。采用深度可分离卷积后，使运算量和参数量降低至1 4，大大加快了检测的时间19。3.2 加强特征提取网络对于YOLOX主干网络部分，对中间层、中下层和底层这三个特征层进行特征提取，并引入BiFPN增强该特征的融合能力。但是因为 BiFPN要求 5个输入特征层，为了减少计算量和适应 YOLOX 网络，所以将 BiFPN 网络简化为 3 个输入特征层。简化后网络结构如图 3所示。图3 BiFPN简化后网络结构最终的 BiFPN 融合了双向跨尺度连接和快速归一化融合。这里将中间一层作为一个例子，其融合特征描述为16：Ptd2=Conv()1 Pin2+2 Upsample()Pin31+2+（4）Pout2=Conv()1 Pin2+2 Ptd2+3 Downsample()Pout11+2+3+（5）式中：Ptd2是自底向上路径第二级的中间特征；Pout2是自顶向下路段第二级的输出特征。所有其他特性都以类168第21期似的方式构建。此外，为了进一步提高效率，使用深度可分离卷积进行特征融合，并在每次卷积后加入批量归一化和激活函数。4 结果与分析4.1 实验平台实验基于 Windows 10、Python 3.7.11 和 TensorFlow 2.0搭建的深度学习框架，与实验有关的硬件和模型参数如表 1 所示。改进后的 YOLOX 可以自适应缩放图像，选择像素大小为 6406403的图片作为输入，并获得与检测比例相同大小的特征映射。用随机划分的训练数据集在冻结主干情况下训练，初始学习率设置为0.001，训练批量为 4，进行 50次的迭代。解冻以后训练初始学习率为 0.000 1，每次传入模型的数量为 4，训练轮次为50次。表1 实验相关硬件配置和模型参数名称CPUTensorFlowGPU配置Intel Core i5版本2.2.0RTX 950M名称图片大小学习率批量大小取值64064030.00144.2 实验数据集本文实验采用数据集主要来源于实验拍摄图片与公开绝缘子故障数据集20相结合，该数据集共有 2种类别：正 常 绝 缘 子（insulator）和 存 在 缺 陷 的 绝 缘 子（defect）。缺陷绝缘子为合成图像，分为正常绝缘子624张和带缺陷的绝缘子 248张两部分。部分数据可视化结果如图4所示。图4 部分数据可视化该数据集缺陷绝缘子类别数量为 248，正常绝缘子类别数量为1 073。可见存在缺陷的绝缘子类别数量仅为正常绝缘子的 23.1%，出现次数较少，导致数据类别分布不均衡。因为很难学习到类别较少的特征信息，导致最后神经网络的准确性和泛化能力较差。要确保网络模型的准确性，就需要对数据进行均衡处理，即有效地扩充 defect的样本，使数据集中两种类别的出现频率趋于均衡。本文通过数据增强使数据集的类别数量分布更趋于均衡，对存在缺陷的绝缘子图片进行随机大小缩放、色域变换、镜像变换、模糊、旋转、添加椒盐噪声、添加高斯噪声、重新组合颜色通道操作得到新的图片。变换示例如图5所示。图5 数据增强示例数据增强后，数据集所含图片为 1 096 张，目标数量为 1 569 个。数据增强后的数据集已达到较为理想的均衡程度，defect出现次数为 496 次，insulator出现次数为1 073次，具体如表2所示。表2 均衡化后的类别数量类别均衡化前均衡化后defect248496insulator1 0731 0734.3 评价指标为 了 验 证 模 型 的 性 能，本 研 究 采 用 预 测 精 度（mAP）、模 型 参 数 量（Parameters）、模 型 体 积（Model Volume）、检测速度（FPS）四个指标进行评价。计算公式如下21：mAP=C=1CAP()CC（6）式中：C是检测的类别数，这里采用C=2；mAP是所有检测类别的平均精度AP的平均值，该值越高，检测效果越好。AP是 PR曲线下面积，以召回率（recall）为横轴，准确 率（precision）为 纵 轴。precision、recall的 计 算 公式为22：precision=TPTP+FP 100%（7）recall=TPTP+FN 100%（8）邓 伟，等：改进YOLOX的绝缘子故障实时检测方法169现代电子技术2023年第46卷式中：TP、FP、FN的意义分别为真阳性、假阳性、假阴性数。将每秒处理图片的帧数作为目标检测速率评价指标，该值越大则目标检测速率越快。4.4 网络训练该算法训练过程基于迁移学习23，首先将该模型的主干冻结，从而提高训练的效率，迭代次数为 50次，迭代批量为 4，学习率初始值设置为 0.001；解冻阶段迭代次数为100，网络结构发生变化，初始学习率为0.000 1。如图 6所示，在迭代 10次以后，训练损失与验证损失下降趋势较为同步，且平稳地位于验证集曲线上方。虽然在解冻训练时，训练损失值和验证损失值都有大幅增加，但经过2至3次迭代后，损失值降到解冻前的状态缓慢减少，依然处于比较理想的状态，能很好地进行网络训练。图6 训练损失函数曲线4.5 消融实验为了验证模块混合使用对模型性能的影响，进行消融实验，具体如表3所示。表3 消融实验结果对比模型YOLOXYOLOX+BiFPNYOLOX+DWConvYOLOX+BiFPN+DWConv检测精度/%99.0899.3898.9899.64参数量/MB34.324.730.022.0计算量/GFLOPs26.6422.1423.2619.65检测速度/(f/s)3.834.453.584.36用未作任何改进的原始YOLOX为基准，“+”表示模块混合改进。经过训练后可知，原始 YOLOX 的平均检测精度、参数量、计算量和检测速度分别为 99.08%、34.3 MB、26.64 GFLOPs 和 3.83 f/s。以此为基准，比较改进方法的有效性。用深度可分离卷积、ReLU 激活函数与主干特征提取网络组合，与原网络相比，参数量为原来的87.5%，网络计算量降低12.7%，降低了模型存储容量，达到了模型轻量化的效果；为了减少模型参数降低对检测精度的影响，将加强特征提取网络替换为简化后的 BiFPN，在检测精度得到保证的同时，FPS 增加16.2%。综合来看，还是两处一起改进效果最佳，参数量达到了所有方案中最优的 22.0 MB，并且在同一硬件设备情况下，检测速度 FPS 较基准网络提升了 13.8%，在保证检测精度的同时提高了模型的检测速度，进一步验证了改进方案的可行性。消融实验对比结果如图 7所示。图7 消融实验检测对比图5 结 论本文提出基于简化 BiFPN 和深度可分离卷积改进的YOLOX绝缘子故障检测方法。引入深度可分离卷积对主干特征提取网络进行优化，降低 YOLOX 卷积神经网络的计算成本，计算量较原网络减少 3.38 GFLOPs；利用简化后的BiFPN模块将YOLOX算法中的加强特征提取网络进行替换，减少网络的参数量，提高检测速度，参数量减少 28.0%；将两处改进结合起来，平均精度均值可达到 99.64%，具有较高的准确性，模型计算量为原网络的 73.8%，提高了网络运算速度。综合考虑速度和精度，具有较高的应用价值，为后续的智能化电力巡检提供了参考。注：本文通讯作者为王洪亮。170第21期参考文献1 商俊平，李储欣，陈亮.基于视觉的绝缘子定位与自爆缺陷检测J.电子测量与仪器学报，2017，31（6）：844849.2 韩冰，尚方.面向无人机输电线路巡检的电力杆塔检测框架模型J.浙江电力，2016，35（4）：611.3 YADAV A,DASH Y.An overview of transmission line protection by artificial neural network:fault detection,fault classification,fault location,and fault direction discrimination J.Advances in artificial neural systems,2014(1):124143.4 ZHANG X,AN J,CHEN F.A method of insulator fault detection from airborne images C/2010 Second WRI Global Congress on Intelligent Systems.New York:IEEE,2010:200203.5 周宏辉，汪从敏，江炯，等.基于地理信息系统的输电线路无人机巡检管理平台研究与实现J.浙江电力，2018，37（12）：3237.6 REN S Q,HE K M,GIRSHICK R B,et al.Faster RCNN:Towards realtime object detection with region proposal networks J.IEEE transactions on pattern analysis and machine intelligence,2017,39(6):11371149.7 GIRSHICK R.Fast RCNN C/Proceedings of the IEEE International Conference on Computer Vision.New York:IEEE,2015:14401448.8 GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2014:580587.9 REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,realtime object detection C/2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).New York:IEEE,2016:779788.10 LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single shot multibox detector C/Proceedings of the European Conference on Computer Vision.Heidelberg,Germany:Springer,2016:2137.11 易继禹，陈慈发，龚国强.基于改进 Faster RCNN的输电线路航拍绝缘子检测J.计算机工程，2021，47（6）：292298.12 马耀名，张雨.基于改进 FasterRCNN 的绝缘子检测算法J.计算机应用，2022，42（2）：631637.13 王年涛，王淑青，黄剑锋，等.基于改进 YOLOv5神经网络的绝缘子缺陷检测方法J.激光杂志，2022，43（8）：6065.14 HAN K,WANG Y,TIAN Q,et al.GhostNet:More features from cheap operations C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE,2020:15771586.15 GE Z,LIU S,WANG F,et al.YOLOX:Exceeding YOLO series in 2021 EB/OL.20210718.https:/arxiv.org/abs/2107.08430.16 TAN M,PANG R,LE Q V.EfficientDet:Scalable and efficient object detection C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE,2020:1077810787.17 温博阁.基于深度可分离卷积的多目标追踪神经网络研究J.大连交通大学学报，2021，42（5）：111114.18 唐政，张会林，马立新，等.轻量级网络算法对输电线路上异物目标的识别J.电子科技，2023，36（4）：7177.19 蔡舒平，孙仲鸣，刘慧，等.基于改进型 YOLOv4的果园障碍物实时检测方法J.农业工程学报，2021，37（2）：3643.20 GitHub,Inc.Lets build from here EB/OL.2022 08 01.https:/ YAN B,FAN P,LEI X,et al.A realtime apple targets detection method for picking robot based on improved YOLOv5 J.Remote sensing,2021,13(9):1619.22 HSU W Y,LIN W Y.Adaptive fusion of multiscale YOLO for pedestrian detection J.IEEE access,2021,9:110063 110073.23 SALAKEN S M,KHOSRAVI A,NGUYEN T,et al.Seeded transfer learning for regression problems with deep learning J.Expert systems with application,2019,115:565577.作者简介：邓 伟（1998），男，云南人，硕士，研究方向为目标检测、深度学习。王洪亮（1984），男，山东人，博士，副教授，研究方向为物联网技术、人工智能技术。邓 伟，等：改进YOLOX的绝缘子故障实时检测方法171