基于无人机影像深度学习算法的输电线路缺陷智能识别技术研究.pdf

Gongyi yu Jishu工艺与技术基于无人机影像深度学习算法的输电线路缺陷智能识别技术研究许文涛（中国南方电网有限责任公司超高压输电公司柳州局，广西柳州5 4 5 0 0 0)摘要：使用无人机对输电线路进行精细化巡检可以显著提高作业效率，采用单阶段深度学习目标检测算法可以快速从海量无人机图像中识别出线路缺陷，进一步提高线路运维效率。鉴于此，提出了可泛化的输电线路多缺陷检测模型，研发了基于无人机影像深度学习算法的输电线路主要缺陷智能识别软件，即使用Yolov5目标检测算法，利用无人机搭载光学相机获取的可见光照片进行输电线路主要缺陷智能识别，实现对绝缘子、金具、导线等主要缺陷的检测。研究表明，所提模型平均精度均值（mAP)达到9 3%，平均召回率9 6%，为开展输电线路的快速智能巡检、缺陷检测模型的扩展和优化提供了基础平台。关键词：无人机影像；输电线路；缺陷检测；深度学习算法中图分类号：TM75D0l:10.19514/32-1628/tm.2023.20.0230引言无人机遥感技术的兴起，为输电线路巡检带来了新的机遇。无人机遥感具有便捷、灵活、低成本、多角度、高时空分辨率的特点，能大幅降低地面人工巡检的劳动强度和作业风险，显著降低数据获取成本 1-2。但是如何从海量数据中快速提取有价值的信息，成为摆在我们面前需解决的问题。随着人工智能新时代的开启，深度学习为计算机视觉领域带来了革命性的进步，为解决该问题提供了方案 3。深度学习不需要人工设计提取特征，可以较好地应对背景复杂、场景多变、目标特征多样化的电力巡检可见光图像，高度契合电力巡检中海量可见光图像智能化处理的需求，通过引入深度学习方法，可以实现目标的智能识别，进而实现线路设备的缺陷检测 4。因此，研发基于无人机遥感与深度学习算法的输电线路智能巡检平台，不仅是“新基建”的迫切要求，而且将使老旧线路焕发出新的活力，因而具有重要意义和巨大的市场潜力。根据国网（运检/4)3 0 5 一2 0 1 4 国家电网公司架空输电线路运维管理规定，架空线路设备缺陷管理系统规定了8 7 8 种缺陷。由于部分类型的缺陷根据危害等级被划分为3 种（如绝缘子自爆缺陷根据损坏程文献标志码：A文章编号：1 6 7 1-0 7 9 7(2 0 2 3)2 0-0 0 8 5-0 4项目基础杆塔导地线绝缘子金具接地装置通道环境附属设施从表1 缺陷类型分布看，杆塔、金具、绝缘子类缺陷较多，占缺陷总量的6 8%。基于可见光图像，使用图像处理的方法进行架空线路的缺陷检测可以覆盖约9 0%的缺陷 5，仅有3 0 余种缺陷难以根据可见光图像确定。随着无人机遥感技术和深度学习算法的发展，国内外在输电线路缺陷检测领域已经开展了大量的研究,取得了不少研究成果。1Yolov5目标检测算法原理Yolo系列模型经过不断改进，已推出多个版本，但其结构均是由输入层、Backbone、N e c k（自Yolov3度不同被分为一般、严重、危急3 种），统计出包括基础、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施等在内的8 类共4 9 9 种缺陷，分布如表1所示 5。表1 线路巡检常见缺陷统计类型数/种341463583111151758机电信息2 0 2 3 年第2 0 期总第7 1 6 期8 5工艺与技术Gongyi yu Jishu增加该层）、Head和Prediction（输出层）组成6。在Yolov5的官方代码中，给出了Yolov5s.pt、Yolov5m.pt、Yo l o v 5 1.p t、Yo l o v 5 x.p t 四个权重模型，其中，Yolov5s网络是Yolov5系列中深度最小、特征图宽度最小的网络，其检测速度最快，但精度也相对较低 7；其他三种结构则是对网络加深加宽，精度提升的同时速度降低。用户可以根据需要选择合适的模型。在输入层，Yolov5首先对图像进行Mosaic增强，通过随机缩放、裁剪、排布等方式，丰富了数据集，提升了小目标的检测效果。其次，Yolov5将初始锚框的计算嵌入到代码中，使得在每次训练时，程序可以自适应地计算不同训练集中的最佳锚框值。最后，Yolov5改进了图像填充算法，算法根据图片的长宽比自适应地计算需要添加的像素数，从而缩减了黑边的范围，降低了信息亢余，提高了推理速度。在Backbone层中，Yolov5首先采用切片操作，即Focus结构，在减小图像长宽的同时增加了图像通道个数 8。进而，Yolov5继承了Yolov4的CSPDarknet53结构，但分别在Backbone和Neck中使用两种不同的CSP结构。在Backbone中引入残差组件，而在Neck中，则使用Convolution-Batch Normalization-LeakyReLU组件。在Neck层中，一方面，Yolov5采用了CSP结构，加强了网络特征融合的能力；另一方面，采用了FPN(Feature Pyramid Network)+PAN结构，FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合。与之前的版本类似，Yolov5最终输出为三个不同尺度的特征图，对于不同尺寸的目标识别具有较好的鲁棒性。Yolov5采用GIOU_Loss作为定位损失函数，采用加权nms的方式，提高了被遮挡物体的检出率。2数据获取与预处理基于2 0 2 0 年7 月至9 月无人机巡检获取的5 0 0 kV输电线路共3 6 2 张缺陷照片开展研究，照片像素数为54723078，这些照片已经过专业检修人员和同类缺陷识别软件的筛选。由于无人机影像较大，考虑到硬件配置和计算效率，将影像进行四等分裁剪，裁剪后获得1 4 4 8 张图像。本文利用lablelmg软件对这些照片进行了样本的标注，共获取绝缘子类缺陷样本1 0 5 6 个，导线类缺陷2 6 0 个，金具类缺陷3 2 8 个，杆塔上有鸟巢图片471个。为扩充样本数量，增强特征学习能力，使用Mosaic增强模块对样本进行了旋转、颜色空间变换、模糊和镜像变换。通过上述数据预处理，剔除没有目标信息的图像，得到了共3 6 9 6 张缺陷图片，用于后续模型的训练和预测。3平台构建本文采用的运行环境为Windows10系统，6 4 位，处理器为Intel(R)Xeon(R)Silver 4210 CPU2.20GHz/2.19GHz，内存3 2 GB，主频3.0 GHz，显卡为GPUNVIDIAGeForceRTX2080Ti,显存1 1 GB。本文缺陷检测算法研究选用的CUDA版本是1 0.2，集成开发环境是VSCode，使用Python3.7和Pytorch深度学习框架开发。输电线路主要缺陷智能识别软件为网络版，系统采用B/S架构和分用户管理的方式，基于Cesium开源三维可视化引擎、PostgreSQL数据库管理系统和Pytorch深度学习框架构建基于无人机影像深度学习算法的输电线路主要缺陷智能识别软件。系统具有无人机光学图像样本制作、模型分布式训练、模型测试、缺陷诊断和确认以及检测报告生成等功能，可识别杆塔、绝缘子、金具等主要缺陷 9。平台架构如图1 所示。系统同时具备三维GIS功能（如三维可视化、数据库管理系统、空间分析等)和无人机遥感图像处理功能（如数据预处理、基于深度学习算法的输电线路缺陷检测），可以生成训练报告、测试报告和缺陷识别结果评估报告。4算法验证4.1模型训练平台选择Yolo5s模型进行输电线路缺陷检测，训86机电信息2 0 2 3 年第2 0 期总第7 1 6 期Gongyi yu Jishu工艺与技术数据导入业务层智能缺陷识别算法层深度学习缺陷识别算法训练层深度学习模型训练平台模型层深度学习缺陷识别模型库三维可视数据管理服务层原始数据层影像硬件层图1 系统架构图练数据和验证数据的比例为9:1，每次输入网络中图像的数量为1 6，初始学习参数为0.0 1，送代次数为500次，IoU阈值设为0.5。绝缘子自爆类缺陷训练结果如图2 所示。4.2缺陷检测采用前述模型和软件识别出的缺陷结果如图3所示。其中绝缘子类缺陷包括绝缘子自爆、伞裙损坏和放电烧伤；金具类缺陷包括防振锤锈蚀、损坏，线样本标注缺陷报告生成模型管理报告管理训练缺陷数据样本库硬件设备0.100.080.060.040(a）定位损失曲线用户管理0.810.60.4测试与验证库0.8sodvu0.60.40.2-0.0200400选代次数0.20.00(c）精度曲线图2 绝缘子自爆类缺陷训练结果夹锈蚀，接线管弯曲；导线类缺陷包括导线跳股、缠绕不合格等。4.3模型验证本文对不同缺陷类型的识别精度进行了分析。表2 列出了不同类型缺陷的识别精度和识别召回率。从表2 可以看出，整体缺陷平均识别精度均值达93%，鸟巢识别精度最高，为9 6%，绝缘子类缺陷识别精度为9 0%，略低于金具类缺陷和导线类缺陷的0（b）平均精度均值曲线0.80.60.40.20.0200400选代次数200代次数0200选代次数(d)召回率曲线400400电焊：1.9(a)鸟巢(b)导线缠绕不合格图3不同类型缺陷识别结果(c)线夹锈蚀(d)绝缘子放电烧伤机电信息22023年第2 0 期总第7 1 6 期8 7工艺与技术Gongyi yu Jishu表2 缺陷检测结果项目绝缘子类缺陷金具类缺陷鸟巢导线类缺陷识别准确率90%92%96%94%识别召回率96%95%98%95%缺陷描述爆片、脏污、放电烧伤防振锤锈蚀、损坏，线夹锈蚀塔上有鸟巢缠绕不合格、跳股识别精度，这是因为绝缘子缺陷相对较小，在进行多尺度特征提取的过程中容易漏掉，因此提高绝缘子自爆、烧伤等小目标缺陷识别精度是后续的重要工作。5结束语本文基于Yolov5目标检测算法和无人机巡检获取的可见光照片，实现了输电线路绝缘子、金具、导线等主要缺陷的智能识别。研究表明，使用文中模型对输电线路主要缺陷识别的平均精度均值可达93%，平均召回率9 6%本文提出了可泛化的输电线路多缺陷检测模型，研发了基于无人机影像深度学习算法的输电线路主要缺陷智能识别软件，为开展输电线路的快速智能巡检、缺陷检测模型的扩展和优化提供了基础平台。Yolov5是一种轻量级的深度学习算法，在今后的工作中，可以将训练好的模型嵌入到移动端，乃至无人机平台，实现边缘计算，以进一步提高检测效率。基于可见光图像开展深度学习缺陷检测算法研究，在实际工程应用中，激光点云数据对于通道类缺陷（如树障等）检测具有优势，红外图像对于温度异常更为敏感，采用无人机搭载多种传感器，同步获取多源遥感数据，研发相应的缺陷检测算法，有望实现一站式输电线路智能缺陷检测。3陈辉东，丁小燕，刘艳霞.基于深度学习的目标检测算法综述 J】.北京联合大学学报，2 0 2 1，3 5（3）：3 9-4 6.4刘颖，刘红燕，范九伦，等.基于深度学习的小目标检测研究与应用综述 J.电子学报，2 0 2 0，4 8（3）：5 9 0-6 0 1.5】刘志颖，缪希仁，陈静，等.电力架空线路巡检可见光图像智能处理研究综述 J电网技术，2 0 2 0，4 4（3）：1057-1069.6郭敬东，陈彬，王仁书，等.基于YOLO的无人机电力线路杆塔巡检图像实时检测J.中国电力，2 0 1 9，5 2（7）：17-23.7】翁伟栋.基于YOLO-V4的输电线路绝缘子缺陷检测研究D.福州：福建工程学院，2 0 2 2.8颜宏文，陈金鑫.基于改进YOLOv3的绝缘子串定位与状态识别方法 J】.高电压技术，2 0 2 0，4 6（2）：4 2 3-4 3 2.9李惟韬，焦点，张倩，等.基于深度迁移学习的玻璃绝缘子自爆状态智能认知方法研究 J.中国电机工程学报，2020,40(11):3710-3720.参考文献1陈诚，戴永东，沈筠，等.基于无人机遥感技术的配电网巡检系统设计J】.微型电脑应用，2 0 2 3，3 9（5）：1 0 7-1 1 0.2王万国，田兵，刘越，等.基于RCNN的无人机巡检图像电力小部件识别研究J.地球信息科学学报，2 0 1 7，1 9（2）：256-263.收稿日期：2 0 2 3-0 6-2 1作者简介：许文涛（1 9 9 0 一），男，广西柳州人，助理工程师，主要从事超高压输电线路运行检修。88机电信息2 0 2 3 年第2 0 期总第7 1 6 期