基于深度学习的架空线路关键部件典型缺陷识别研究_陈剑波.pdf

测控技术2023 年第 42 卷第 7 期模式识别与人工智能收稿日期:2022 10 14基金项目:国网新疆电力有限公司科技项目(5230BD220001)引用格式:陈剑波，唐锐，姚平，等 基于深度学习的架空线路关键部件典型缺陷识别研究 J 测控技术，2023，42(7):22 28CHEN J B，TANG，YAO P，et al esearch on Typical Defects Identification of Key Components of Overhead Lines Based onDeep Learning J Measurement Control Technology，2023，42(7):22 28基于深度学习的架空线路关键部件典型缺陷识别研究陈剑波，唐锐，姚平，张赛飞，廖林(国网新疆电力有限公司巴州供电公司，新疆 库尔勒841000)摘要:为了精确识别定位架空线路中关键部件的缺陷情况，提出了一种改进的 YOLOv3 检测方法，首先采用 epVGG 模块替换骨干网络 Darknet-53 中的残差单元，加快推理速度;其次通过改进损失函数，引入 SIoU 使模型训练更快，精确率更高;最后通过改进检测头，采用不同的分支进行计算，提升检测效果。实验结果表明，改进方法与 YOLOv3 相比，精确率提高了 3 4%，召回率提高了 2.6%;性能相比于 SSD、Faster-CNN 网络模型也具有一定优越性。关键词:YOLOv3;目标检测;epVGG;SIoU;架空线路巡检中图分类号:TP391 4文献标志码:A文章编号:1000 8829(2023)07 0022 07doi:10 19708/j ckjs 2023 07 004esearch on Typical Defects Identification of Key Components of Overhead LinesBased on Deep LearningCHEN Jianbo，TANG ui，YAO Ping，ZHANG Saifei，LIAO Lin(State Grid Xinjiang Electric Power Co Ltd Bazhou Power Supply Company，Korla 841000，China)Abstract:In order to accurately identify and locate the defects of key components in overhead lines，an im-proved YOLOv3 detection method is proposed Firstly，the epVGG module is used to replace the residual unitin the backbone network Darknet-53 to speed up inference Secondly，by improving the Loss function，SIoU isintroduced to make the model training faster and improve the accuracy Finally，by improving the detectionhead and using different branches for calculation，the detection effect is improved The experimental resultsshow that compared with YOLOv3，the improved method improves the precision rate by 3 4%and the recallrate by 2.6%，it also has certain advantages compared with SSD and Faster-CNN network models in per-formanceKey words:YOLOv3;target detection;epVGG;SIoU;overhead line inspection架空线路是输送电力的重要纽带，确保架空线路安全对于电力系统安全稳定运行意义重大。绝缘子、悬垂线夹和均压环等金具是架空线路中常见的部件，由于长期暴露于外部自然环境下，这些部件难免会出现缺陷从而产生隐患，威胁电力系统安全稳定运行，因而需要定期巡检来确保电能持续供应和架空线路安全运行。现有巡检方式主要包括人工巡检、直升机巡检1、机器人巡检2、无人机巡检3 4 等。目前国内架空线路巡检模式主要为无人机巡检结合人工辅助巡22检方式，通过给无人机设定航线对架空线路进行巡检，对无人机回传的图像进行人工甄别，或者将无人机取得的影像数据上传服务器，服务器再采取深度学习方法对架空线路影像数据进行甄别，在人力物力上投入较大。当前基于深度学习的目标检测方法大致可以分为基于候选区域的两阶段目标检测方法和基于回归的单阶段目标检测方法。基于候选区域的两阶段检测方法有-CNN5、Faster-CNN6、Mask-CNN7 等，这类检测方法精度较高;基于回归的单阶段检测方法有YOLO8 10、SSD11 等，这类检测方法具有更快的处理速度。在满足检测精度要求下，由于基于回归的单阶段检测方法检测速度更快，因此其在实际应用中使用更加广泛，适用于实时性要求高、需要快速检测的场景。基于深度学习方法，国内外许多学者对架空线路关键部件检测进行了研究，文献 12 提出了一种改进的单级多框检测器模型对架空线路部件进行检测，在SSD 模型中使用改进的斥力损失函数，对于小目标和密集目标取得了较好的检测效果。文献 13通过引入注意力机制和空间金字塔结构，改进了特征提取网络，提出了一种基于 YOLOv3 改进的绝缘子缺陷检测算法，提升了模型的特征表达能力。文献 14以YOLOv3 为框架，提出了基于最小凸集的损失函数，同时以基于最小凸集的预测框选择代替非极大值抑制处理，能有效检测识别架空线路中多种典型的缺陷和故障。文献 15以 VGG-16 作为骨干网络，在倒数第二个全连接层 FC7 提取金具的深度特征向量后利用主成分分析(Principal Component Analysis，PCA)实现降维，基于全局混杂平衡原理进行特征和标签的匹配学习完成分类，进一步提升了金具缺陷识别精度。考虑到架空线路中关键部件缺陷的多样性，并针对检 测 精 度 不 高 的 问 题，本 文 提 出 了 一 种 改 进YOLOv3 的架空线路常见缺陷检测方法。1YOLOv3 检测原理YOLOv3 整体设计采用编码器 解码器架构来进行特征提取，Darknet-53 网络结构设计借鉴了残差结构的思想，在网络加深的同时避免了梯度爆炸和梯度消失等问题16，Darknet-53 共有 53 层，其结构如图 1所示8。YOLOv3 在 COCO 开源数据集上取得了较好的效果，但是在架空线路关键部件检测问题上，需要进行相应的改进。为解决上述问题，本文在 YOLOv3 基础上进行优化，提出了一种基于 YOLOv3 的架空线路关键部件识别算法，通过实验和测试，验证了改进算法的有图 1Darknet-53 网络结构效性。2改进模型网络 ep-YOLOv3主要改进思路如下:对 YOLOv3 的骨干网络进行改进，融合 epVGG 网络，节省内存;采用 SIoU边界框回归损失函数，有效降低回归的自由度，加快网络收敛;采用更加简洁高效的解耦头，维持精度并加快解耦速度。2 1骨干网络改进YOLOv3 网络有着更高的精度，但由于使用较多的分支结构，会明显增加内存消耗，降低推理速度，不利于模型推理。VGG 网络属于直筒型结构，由于只使用 3 3 卷积核，且没有分支结构，运算并行度更高。Ding 等17 提出的 epVGG 网络结构，通过结构重参数化，实现了在训练阶段的网络多分支训练，以强化模型特征提取能力，并在推理阶段进行网络分支合并，以加快模型推理速度。用 SiLU 激活函数代替原 epVGG网络中的 eLU 激活函数，收敛更快。epVGG 网络训练和推理模型如图 2 所示。网络的训练模型如图 2(a)所示，通过 3 3 卷积核、1 1 卷积核分支及 Iden-tity 残差连接构成多分支结构，能有效缓解梯度消失等问题，让模型更快收敛。网络的推理模型如图 2(b)所示，通过多个 3 3 卷积和多次 SiLU 激活函数堆叠，形成直筒型结构，加快了模型推理速度。通过结构重参数化方法实现训练模型到推理模型的转化:将卷积层和批归一化层进行融合;通过填充等效方式将卷积核转化为 3 3 卷积核，从而将卷积层都变为 3 332基于深度学习的架空线路关键部件典型缺陷识别研究大小的卷积核;合并所有 3 3 大小的卷积核，即将分支的权重和偏置叠加到一个 3 3 卷积核之中，并由此卷积核进行模型推理。图 2epVGG 网络训练和推理模型为满足实际需求，本文引入改进后的 epVGG 网络作为骨干网络，加强特征提取能力，减少信息损失，同时加快推理速度，便于部署到无人机上。改进后的网络整体结构如图 3 所示。图 3改进后网络结构图2 2SIoU 函数改进CIoU18、DioU18、GIoU19 等都没有考虑到所需要的真实框与预测框之间的不匹配的方向，导致收敛速度慢且训练效率低，为此 SIoU20 被提出，其考虑了回归之间的向量角度，重新定义了惩罚指标。SIoU 损失函数由 4 个成本函数构成。第1 部分是角度成本函数，其计算方法如图4 所示。图 4角度成本函数计算方法图 4 左下角为预测框，右上角为真实框。角度成本函数计算公式如下:=1 2 sin2 arcsin(x)4x=Ch=sin()=(Bgtc，x Bc，x)2+(Bgtc，y Bc，y)2Ch=max(Bgtc，y，Bc，y)min(Bgtc，y，Bc，y)Cw=max(Bgtc，x，Bc，x)min(Bgtc，x，Bc，x)(1)式中:为后续计算距离成本函数的组件;x 为角 对应的正弦值;为真实框中心点和预测框中心点之间的欧氏距离;Ch为真实框中心点纵坐标 Bgtc，y与预测框中心点纵坐标 Bc，y之差的绝对值;Cw为真实框中心点横坐标 Bgtc，x与预测框中心点横坐标 Bc，x之差的绝对值。第 2 部分是距离成本函数，定义如下:=t=x，y(1 et)x=(Bgtc，x Bc，xcw)2y=(Bgtc，y Bc，ych)2=2(2)式中:ch和 cw为预测框和真实框最小外接框的高度和宽度。当预测框和真实框之间的角度 趋近于零时，距离成本函数的贡献大大降低;相反，越接近/4，距离成本函数贡献越大。为衡量预测框与真实框之间距离接近程度的参数，为被赋予时间优先的距离值。当 趋近于零时，距离成本函数趋近于一个常数。第 3 部分是形状成本函数，其计算公式如下:42测控技术 2023 年第 42 卷第 7 期=t=w，h(1 et)w=w wgtmax(w，wgt)h=h hgtmax(h，hgt)(3)式中:wgt和 hgt为真实框的宽和高;w 和 h 为预测框的宽和高。的值决定了形状成本函数的大小，根据数据集不同，其取值也不同。的值是形状成本函数中非常重要的一项，它控制着对形状成本函数的关注程度。如果 的值设置为 1，它将立即优化一个边框，从而损害边框的自由移动。此处参考文献 20的作者建议，设置为 2 6 之间的一个值。第 4 部分是交并比(Intersection over Union，IoU)成本函数，其计算公式如下:LIoUCost=1 II=BBgtBBgt(4)式中:I 为 IoU;和传统 IoU 函数类似，B 为预测框大小;Bgt为真实框大小。最终得到边框回归损失表达式如下:Lbox=1 I+2(5)2 3检测头改进检测头的设计已经在目标检测和目标分类的网络中被验证有效。检测有着分类任务和定位任务 2 个分支，而采用不同的分支进行运算，有利于效果的提升。原始 YOLOv3 采用的检测头同时计算分类任务和定位任务，在分类和定位任务之间共享参数，而 YOLOX 中的检测头将两个分支解耦，在每个分支中引入了额外的2 个 3 3 卷积层以提高精度，但是降低了速度。为避免 2 个 3 3 卷积带来的额外开销，此处只用了一个3 3 卷积，降低时延。改进后的检测头结构如图 5 所示。图 5改进后的检测头结构3实验方法与结果为了验证提出的改进模型网络 ep-YOLOv3 方法的性能，本文选取架空线路常见的 3 种缺陷进行检测实验。本文原始数据共 446 幅图片，来自国网某检修公司无人机巡检作业时拍摄的标准化照片，鉴于数据集样本较小，直接用于训练难以满足实际需求，本文利用 Imgaug 数据增强库进行数据扩充，提升训练模型的鲁棒性。本文通过添加噪声、翻转、锐化、调整对比度等方法对图片进行数据增强，无人机航拍图片经数据增强后如图 6 所示。在对原始数据集进行数据增强后，筛选并剔除不能用于训练的数据，共得到 5352 幅原始数据加增强数据图片，将图片按照 7 3的比例划分为测试集和验证集，再利用 Labelimg 进行手动标注。部件及部件缺陷检测主要包括绝缘子、悬垂线夹和均压环。训练集用于模型训练，验证集用于在训练过程中对训练结果进行评估防止过拟合。数据样本情况如表1 所示。表 1数据样本情况单位:幅类别数量部件识别绝缘子均压环悬垂线夹缺陷部件识别绝缘子均压环悬垂线夹缺陷原始数据集446630615560580640585扩充数据集5 3527 2007 3656 7206 9007 4587 006训练集3 7465 0405 1554 7044 8305 2204 904验证集1 6062 1032 1972 0061 9932 1562 0863 1实验结果在实验平台为 GTX2080TI，深度学习框架为 Py-torch，加速库 CUDA 版本为 11 3 的环境下训练，设置训练 epoch 为 300，BatchSize 设置为 16，初始学习率设置为 1 104。由于数据集内图片大小不一，需要通过预处理将它们转换为 416 像素 416 像素大小的图像，并作为网络输入。采用余弦退火策略调整学习率，同时利用动量为 0 937 的随机梯度下降优化器来调整网络参数，权重衰减设定为 0 000 5 防止模型训练过拟合，非极大值抑制阈值设置为 0 5。评价指标选择精确度 P(Precision)和召回率(ecall)，精确度表示模型预测正确的结果占所有预测为正类的比率，召回率表示模型预测正确的结果占所有样本的比率。计算公式如下:52基于深度学习的架空线路关键部件典型缺陷识别研究图 6经数据增强后的无人机航拍图片=TPTP+FNP=TPTP+FP(6)式中:TP表示预测结果与真实标注结果一致都为正样本;FP表示预测结果为正样本且与实际标注相反;FN表示预测为负样本且与真实标注相反。改进算法召回率与精确度之间的对比如表 2 所示，由表 2 可知改进模型网络 ep-YOLOv3 的精确度与召回率相比于YOLOv3、Faster-CNN 和 SSD 都有不同程度的提升，其中改进模型网络相比于 YOLOv3，召回率增加了2.8%，精确度增加了3 4%，表明 ep-YOLOv3 网络对于架空线路关键部件检测精确率提升明显。在表 2 的结果中，SSD 和 Faster-CNN 的检测精度差距在 3%以内，SSD 模型的结果最差，主要是因为 SSD 模型的特征提取能力不如 Faster-CNN 和 YOLOv3。改进模型网络通过引入 SIoU 函数，让预测框能够更快地靠近最近的轴，提升了预测框和真实框的匹配度。表 2改进算法召回率与精确度对比对比模型PrecisionecallmAPFaster-CNN0 83008010 849SSD0 77607890 825YOLOv30 88208090 851ep-YOLOv30 91608370 8913 2检测结果对比从未标注的图像数据中选取 3 幅具有代表性的图像用来测试算法对不同目标的检测结果，可以直观看出不同模型对关键部件及缺陷识别的优劣，图 7 为ep-YOLOv3 和 YOLOv3 的检测结果对比图，在对部件定位的矩形框上展示目标类别及置信度。在悬垂线夹倾斜缺陷及绝缘子大伞裙破损缺陷上，YOLOv3 可以正确识别，但是置信度低于改进模型网络;在均压环识别上，YOLOv3 及 ep-YOLOv3 都存在漏检情况;而YOLOv3 检测绝缘子时出现漏检情况，改进模型网络则正常识别出绝缘子。各模型的训练时间和单幅图片推理耗时如表 3 所示，由表 3 可以看出，经过改进的模型网络无论是训练速度还是单幅图片推理耗时，都比原始模型快，这是由于改进了骨干网络，模型复杂度降低，计算量下降使得模型训练和推理速度极大地加快，因而更加符合实际架空线路无人机巡检应用的需求。表 3模型训练时间和单幅图片推理耗时对比模型训练时间/h单幅图片推理耗时/msFaster-CNN306203SSD2487YOLOv32670ep-YOLOv319424结束语针对 架 空 线 路 无 人 机 巡 检 提 出 了 一 种 基 于YOLOv3 的改进模型网络，通过对骨干网络和检测头进行改进，同时引入 SIoU 损失函数，在提升检测精度62测控技术 2023 年第 42 卷第 7 期图 7ep-YOLOv3 和 YOLOv3 检测效果对比图的同时也提升了检测速度。通过实验证明，使用改进模型网络识别精度达到 89 1%，单幅图片推理耗时仅为 42 ms，与其他方法对比可知，改进后的模型效果更好，具有一定的实际参考价值。下一阶段，对于复杂背景下和拍摄模糊的关键部件检测仍需要进行进一步研究。参考文献:1仝卫国，苑津莎，李宝树 图像处理技术在直升机巡检输电线路中的应用综述J 电网技术，2010，34(12):204 208TONG W G，YUAN J S，LI B S Application of image pro-cessing in patrol inspection of overhead transmission line byhelicopterJ Power System Technology，2010，34(12):204 208(in Chinese)2李振宇，郭锐，赖秋频，等 基于计算机视觉的架空输电线路机器人巡检技术综述J 中国电力，2018，51(11):139 146LI Z Y，GUO，LAI Q P，et al Survey of inspection tech-nology of overhead transmission line robot based on comput-er vision J Electric Power，2018，51(11):139 146(inChinese)3钱金菊，潘子宇，麦晓明，等 基于多传感器融合的无人机电力线巡检 J 测控技术，2021，40(1):100 104QIAN J J，PAN Z Y，MAI X M，et al UAV power transmis-sion line inspection based on multi-sensor fusion J Meas-urement Control Technology，2021，40(1):100 104(inChinese)4郝帅，杨磊，马旭，等 基于注意力机制与跨尺度特征融合的 YOLOv5 输电线路故障检测J 中国电机工程学报，2023，43(6):2319 2331HAO S，YANG L，MA X，et al YOLOv5 transmission linefault detection based on attention mechanism and cross-scale feature fusion J Proceedings of the CSEE，43(6):2319 2331(in Chinese)5GISHICK，DONAHUE J，DAELL T，et al ich fea-ture hierarchies for accurate object detection and semanticsegmentation C/2014 IEEE Conference on Computer Vi-sion and Pattern ecognition 2014:580 587 6EN S Q，HE K M，GISHICK，et al Faster-CNN:to-wards real-time object detection with region proposal net-works J IEEE Transactions on Pattern Analysis and Ma-chine Intelligence，2017，39(6):1137 1149 7HE K M，GKIOXAI G，DOLLA P，et al Mask-CNN J IEEE Transactions on Pattern Analysis and MachineIntelligence，2020，42(2):386 397 8EDMON J，DIVVALA S，GISHICK，et al You onlylook once:unified，real-time object detectionC/2016IEEE Conference on Computer Vision and Pattern ecogni-tion 2016:779 78872基于深度学习的架空线路关键部件典型缺陷识别研究 9EDMON J，FAHADI A YOLOv3:an incremental im-provementEB/OL (2018-04-08)2022-10-14 ht-tps:/arxiv org/abs/1804 02767 10武建超，张楠，闫彦辉，等 基于改进 YOLOv4-tiny 的输电线路目标识别算法 J 测控技术，2022，41(11):28 34WU J C，ZHANG N，YAN Y H，et al Transmission line tar-get recognition algorithm based on improved YOLOv4-tiny J Measurement Control Technology，2022，41(11):28 34(in Chinese)11LIU W，ANGUELOV D，EHAN D，et al SSD:single shotMultiBox detector C/Computer Vision-ECCV 20162016:21 37 12 戚银城，江爱雪，赵振兵，等 基于改进 SSD 模型的输电线路巡检图像金具检测方法J 电测与仪表，2019，56(22):7 12QI Y C，JIANG A X，ZHAO Z B，et al Fittings detectionmethod in patrol images of transmission line based on im-proved SSD J Electrical Measurement Instrumentation，2019，56(22):7 12(in Chinese)13王凯，许敏，孙翔，等 改进 YOLOv3 的绝缘子自爆缺陷检测方法J 小型微型计算机系统，2022，43(12):2564 2569WANG K，XU M，SUN X，et al Insulator self-explosion de-fect detection method based on improved YOLOv3J Journal of Chinese Computer Systems，2022，43(12):2564 2569(in Chinese)14 顾晓东，唐丹宏，黄晓华 基于深度学习的电网巡检图像缺陷检测与识别 J 电力系统保护与控制，2021，49(5):91 97GU X D，TANG D H，HUANG X H Deep learning-baseddefect detection and recognition of a power grid inspectionimageJ Power System Protection and Control，2021，49(5):91 97(in Chinese)15 赵振兵，张薇，戚银城，等 融合深度特征的输电线路金具缺陷因果分类方法J 北京航空航天大学学报，2021，47(3):461 468ZHAO Z B，ZHANG W，QI Y C，et al Causal classificationmethod of transmission lines fitting defect combined withdeep features J Journal of Beijing University of Aeronau-tics and Astronautics，2021，47(3):461 468(in Chi-nese)16 HE K M，ZHANG X Y，EN S Q，et al Deep residuallearning for image recognition C/2016 IEEE Conferenceon Computer Vision and Pattern ecognition 2016:770 778 17 DING X H，ZHANG X Y，MA N N，et al epVGG:makingVGG-style ConvNets great againC/2021 IEEE/CVFConference on Computer Vision and Pattern ecognition2021:13728 13737 18 ZHENG Z H，WANG P，LIU W，et al Distance-IoU loss:faster and better learning for bounding box regression EB/OL (2019-11-19)2022-10-14 https:/arxiv org/abs/1911 08287 19 EZATOFIGHI H，TSOI N，GWAK J，et al Generalized in-tersection over union:a metric and a loss for bounding boxregression C/2019 IEEE/CVF Conference on ComputerVision and Pattern ecognition 2020:658 666 20 GEVOGYAN Z SIoU loss:more powerful learning forbounding box regressionEB/OL (2019-11-19)2022-10-14 https:/arxiv org/abs/2205 12740征 稿 启 事测控技术 于 1982 年创刊，月刊，国内外公开发行，是由中国航空工业集团有限公司主管，北京长城航空测控技术研究所主办的学术期刊。测控技术 为中国科技核心期刊，被中国核心期刊(遴选)数据库、中国学术期刊综合评价数据库、中国期刊全文数据库、中文科技期刊数据库、中国学术期刊(光盘版)全文收录期刊、中国科技期刊文摘数据库英文版入库期刊、日本科学技术振兴机构数据库(JST)等收录。关注测控技术热点，崇尚科研创新，倡导科学严谨，注重学术质量。栏目全新改版，诚邀您投稿!常设栏目:综述 智能感知与仪器仪表数据采集与处理 试验与测试计算机与控制系统不定期栏目:大家论坛 模式识别(先进算法)与人工智能机器人技术与应用 网络技术与应用虚拟现实技术 飞行器控制兵器科学技术与运用 理论专栏联系电话:[phone]投稿网址:http:/ckjs ijournals cn通信地址:北京亦庄经济技术开发区经海二路 29 号院 9 号楼邮政编码:10111182测控技术 2023 年第 42 卷第 7 期