电力行业无人机巡检可见光图像与激光点云数据配准方法研究.pdf

70第 52 卷2024 年 4 月Vol.52 No.2Apr.2024云南电力技术YUNNAN ELECTRIC POWER电力行业无人机巡检可见光图像与激光点 云数据配准方法研究张少杰1，赵李强1，周静波1，陈国坤1，焦宗寒1，杨伟2，王欣3，刘荣海1（1.云南电网有限责任公司电力科学研究院，云南 昆明 650032；2.云南电网有限责任公司楚雄供电局，云南 楚雄 675000；3.云南电网有限责任公司，云南 昆明 650011）摘要：当前，电力行业为了提高输变电专业日常巡检的密度和精度，同时大幅降低输变电设备运维的人力成本，无人机技术被广泛引入到日常巡检业务中，通过无人机机载可见光成像设备和激光雷达设备获得了大量输变电设备可见光图像和激光点云数据。针对二维可见光图像数据深度信息丢失和三维点云数据智能识别障碍的问题，本文提出了一种可见光图像数据与激光点云数据的配准方法，即通过人工选取部分特征点的三维点云和二维像素点对数据，通过奇异值分解（SVD）方法求解出了关联三维世界坐标与二维像素坐标的参数矩阵T，验证结果表明经过上述矩阵T投影变换的二维特征点与其对应三维特征点吻合度较高，具备较好的配准精确度，基于此配准关系可实现输变电巡检点云数据与可见光数据的融合应用。关键词：无人机巡检；计算机视觉；可见光图像；激光点云；数据配准Research on the Registration Method of Visible Light Images and Laser Point Cloud Data for Unmanned Aerial Vehicle Inspection in the Power IndustryZhang Shaojie1,Zhao Liqiang1,Zhou Jingbo1,Chen Guokun1,Jiao Zonghan1,Yang Wei2,Wang Xin3,Liu Ronghai1（1.Electric Power Research Institute of Yunnan Power Grid Co.,Ltd,Kunming 650032,Yunnan,China;2.Chuxiong Power Supply Bureau of Yunnan Power Grid Co.,Ltd,Chuxiong 675000,Yunnan,China;3.Yunnan Power Grid Co.,Ltd,Kunming 650011,Yunnan,China）Abstract:Currently,in order to improve the density and accuracy of daily inspections in the power transmission and transformation technology area,and significantly reduce the labor costs of operation and maintenance of power equipment,drone technology has been widely introduced into the inspection business in the power industry.And a large amount of visible light images and laser point cloud data of power transmission and transformation equipment have been obtained from drone onboard visible light imaging equipment and laser radar equipment yet.This paper proposes a registration method between visible light image data and laser point cloud data to address the issues of loss of depth information in two-dimensional visible light image data and obstacles in intelligent recognition of three-dimensional point cloud data.By manually selecting three-dimensional point clouds and data of two-dimensional pixel points for some feature point pairs,the parameter matrix T that associates the three-dimensional world with two-dimensional image points is solved using singular value decomposition(SVD)method.And the verification results show that the two-dimensional feature points transformed by the matrix T projection have a high degree of agreement with their corresponding three-dimensional feature points,which means a good registration accuracy.Based on this registration relationship,the fusion application of transmission and transformation inspection point cloud data and visible light data can be achieved.Key words:Drone inspection;Computer vision;Visible light images;Laser point cloud;Data Registration中图分类号：TM74文献标识码：B文章编号：1006-7345（2024）02-0070-040前言近年来，电力系统为适应国家社会发展和经济建设的需求，各类长距离大容量输变电工程和电力基础设施不断新建扩建，传统的人工巡维方式已不能全方位满足电力设施日常运维巡视要求，目前，以无人机巡维巡检为代表的 云南电网有限责任公司科技项目“高海拔地区变电站无人机自动巡检技术研究与应用”，项目编号 YNKJXM2022018771第 52 卷2024 年第 2 期电力行业无人机巡检可见光图像与激光点云数据配准方法研究自动化、智能化巡检方式在国内各省级电网公司开始逐步推行。无人机巡检虽然在很大程度上提高了巡检效率、降低了巡检成本以及减少了野外作业的风险，但如何妥善处理伴随无人机巡检过程产生的海量电力部件的图像数据和激光点云数据，通过非人工的方式深度利用巡检数据进行电网缺陷识别，挖掘电力系统巡检数据的资产价值，成为目前电力巡检自动化和缺陷识别智能化的研究热点之一。因此，研发智能化的电力设备部件识别算法对代替人工数据辨识、缺陷识别和风险预警具有非常重要的意义。在数字图像处理和电网设备风险识别领域，基于深度学习思想的对象检测框架已经成为了主流的技术。目前，国内已经广泛开展基于图像数据的变电站设备识别技术相关研究，各种设备识别算法已经被应用到生产实践中，如通过图像识别技术实现了变电站倒闸操作和顺控操作1、基于图像识别技术完成变电站屏柜运检2以及通过图像识别技术实现变电站巡检机器人自动读取仪表指针示值3等。以上各项研究表明我们可以利用深度学习模型强大的特征表达和回归能力检测出复杂场景下的物体对象，获取到图像中电力部件的轮廓位置信息，并利用这些信息对电力部件的运行状态和存在的缺陷进行识别，但图像识别技术的缺点在于成像过程中物体深度信息的丢失，使得无法单独利用图像数据进行设备距离信息相关的测算4。激光点云数据由于包含被测物体表面部分点的三维坐标信息，使其被广泛应用于对象三维信息获取的场景中5-6。无人机在巡检过程产生的激光点云数据包含了巡检目标物表面在世界坐标系下的坐标信息，但点云数据缺乏物体的特征属性，故不能表征物体的结构和表面纹理信息，难以通过点云实现对物体的智能化识别，进而无法实现物体间的自动测距，从而无法实现对设备形变、异物入侵、树障隐患等风险的预警。有相关研究6利用三维卷积神经网络直接对三维激光点云数据进行目标检测，以实现对点云中物体的识别和定位，但由于三维点云数据量较大，算法一般需要对原始点云数据进行抽稀处理，上述处理模式会又会进一步导致点云数据纹理信息量丢失，进而引起识别率变小。针对上述二维图像设备识别技术中图像深度信息丢失和三维点云定位技术中设备识别率低的问题，通过数据配准理论实现非同步可见光数据和三维激光点云数据的配准，是解决二者矛盾、实现数据融合深度应用的重要手段和基础7-8。将可见光图像数据与激光点云数据配准融合后，对于变电站存在的外力破坏隐患（如设备沉降、形变、位移等）及树障等隐患等，可利用可见光图像识别出设备的类别和位置信息，再根据激光点云数据实现对设备的精确距离计算，发出此类隐患的预警信号。图1图像点云配准算法流程1图像点云配准解算1.1图像点云配准理论基础在计算机视觉中，由共线约束导出的基础方程将二维影像点、相机参数（内外参）以及三维世界点串联在了一起，我们可以持二求一进行如下组合：1）已知二维点和三维点信息，求解相机参数，可用于相机标定（求内参）以及相机位姿（求外参）；2）已知二维点信息及相机参数，求三维点信息；3）已知三维点信息及相机参数，投影求二维点信息。PnP（Perspective-n Point）是求解三维点对到二维点对投影关系的方法9，它描述了已知 n个三维空间点及其对应二维投影位置时估计相机的位姿的过程。考虑某个空间点 P，它的齐次72云南电力技术第 52 卷2024 年第 2 期坐标为 P=(X,Y,Z,1)T，在图像 I1中，投影到特征点 x1=(u1,v1,1)T（以归一化平面坐标表示），此时，相机位姿 R,t 是未知。与单应矩阵的求解类似，我们定义增广矩阵 R|t 为一个 34 矩阵 T，其包含了三维点与二维点数据间的旋转与平移信息，我们将其展开写成如下形式：（1）其中 s 是尺度因子（s=t9X+T10Y+t11Z+t12），代入（1）式中并用最后一行把 s 消去得到两个约束：（2）为了简化表示，定义矩阵 T 的行向量：t1=(t1,t2,t3,t4)T,t2=(t5,t6,t7,t8)T,t3=(t9,t10,t11,t12)T（3）于是有：t1TPt3TPu1=0,t2TPt3TPv1=0（4）注意到矩阵 T 中，ti（i=1,212）是待求变量，可以看出，每个特征点提供了 2 个关于待求变量 ti的线性约束，假设一共有 N 个特征点，则可以列出如下线性方程组：（5）ti一共有 12 维，一对点可以提供 2 个约束方程，因此最少通过 6 对匹配点即可实现矩阵 T 的线性求解，这种方法称为直线线性变换（DLT），当匹配点对大于 6 对时，可以使用奇异值分解（SVD）方法对超定方程求最小二乘解，进而得到配准矩阵 T。1.2配准点对选取在本文中所使用的图像和点云数据均来自于大疆系列无人机对输变电设备的巡检，为了提升配准结果的精确性和算法的实时性，本文中通过人工选取若干二维可见光图像点和三维激光点云数据进行配对（配准点数量越多配准测距精度越高），求解相机内参和外参以得到点对之间的配准关系矩阵 T，再通过该矩阵 T验证特定点对配准精确度。我们通过 Harris 角点检测算法支撑，选择了可见光图像（图 2（a）中纹理突变的角点作为特征点，同时在对应的激光点云（图 2（b）中选择特征点对应的三维点云作为配对。所选取的特征配准点对 114均遵循能够在离散三维点云数据中找到二维特征点本身三维点云的原则，图 2 中的 9 组点对（点对 1、3、4、6、8、9、11、13、14）用于求解配准关系矩阵 T，5 组点对（点对 2、5、7、10、12）用于后续返回验证配准关系 T 的精确度。(a)巡检对象二维可见光照片(b)巡检对象的三维激光点云图2配准点对的选取1.3求解配准关系矩阵T按照上述理论，本文中我们结合人工选取的图像和点云配准点对求解配对关系，即将选取到配准点对的二维三维坐标值代入到式（5）中，通过奇异值分解（SVD）方法求解变换矩阵 T 包含的 12 个参数 ti（i=1,212），基于此获得描述世界坐标系到图像坐标系的变换矩阵T 的数学描述。人工配准选取的特征点对坐标见表 1，解算得到的配准关系矩阵 T 见式（6）。表1选取的特征点对坐标 序号三维点云坐标二维像素坐标xyzuv123.93119.1033.9453532325.99120.3526.38562115425.93119.3522.79556155618.86118.6029.8947774818.61118.6022.87470154923.8084.106.504504021116.7482.856.70333395139.9986.3515.02249255148.1175.8517.05152215按照上述方法解算出配准关系矩阵 T 如下：（6）73电力行业无人机巡检可见光图像与激光点云数据配准方法研究第 52 卷2024 年第 2 期1.4配准精确度验证首先在图 2 中选取易于对比识别的三维特征点（本部分选取了 5 个特征三维点 2、5、7、10、12，分别对应输电杆塔第一级横担左端点、第二级横担右端点、第三级横担左端点、小屋左拐角端点及主屋顶右前方拐角端点处），然后将特征点的三维点坐标和配准关系矩阵 T 代入式（1）、式（2）中以投影出所选激光点云在二维可见光像素坐标系中坐标数据，从而实现图像数据和点云数据的配准，再将配准数据带入到二维图像中进行配准精确度验证。配准解算得到特征点的二维像素坐标见表 2，从表中的平均误差可知验证点的二维投影坐标在水平方向上的投影误差为 1.2 像素，在竖直方向上的误差为 0.6 像素，总体投影误差值小于 2 个像素，说明变换矩阵T解算的坐标具有较高的准确性。表2特征点配准的二维像素坐标 点对编号三维点云坐标配准二维像素坐标投影二维像素坐标投影像素偏差xyzuv_u_v|_u-u|_v-v|225.24 120.10 29.87552775517710520.24 119.60 33.98496324953111717.99 118.35 26.37467 115468 114111019.18 85.356.50381 395382 394111213.36 73.60 14.87220 264222 26420平均偏差1.20.6(a)巡检对象的三维激光点云(b)配准结果（投影到二维可见光图像）图3配准关系验证比对结果配准效果见图 3，图 3（b）中方形标记为图 3（a）中特征三维点云 2、5、7、10、12 的三维世界坐标投影到其二维可见光照片中像素坐标的位置，显然与图 2（a）中的二维特征角点位置对应（基本重合），以上配准效果表明配准关系矩阵 T 具备较高的模型准确性，在本例中能够较好地满足从三维特征点到二维像素点的配准解算。2结束语本文基于无人机对输变电设备的巡检数据，通过选取三维点云和二维图像的匹配点对，基于摄影测量的后方交会理论对点云数据与图像数据间的变换关系进行建模并求解获得了其变换矩阵 T 的数学描述，从而实现了上述二维像素点与三维激光点云的数据配准。实验结果显示本文所提出的方法实现了点云数据的三维世界坐标到二维图像坐标的变换功能，达到了图像数据和点云数据配准，同时也验证了多传感器多数据源融合的可行性。该方法的不足之处是需要通过人工辅助选择配准点，后续可开发尝试使用定制化的标定板自动生成配准点对，在实现数据配准的基础上，再通过基于深度学习的物体检测模型对无人机输变电巡检图像进行电力部件识别，获取到电力部件和目标检测物在图像中的坐标信息10-15，利用点云和图像之间的变换矩阵 T、多视角前方交汇和三角测量原理将电力部件区域的二维图像坐标映射到三维点云世界坐标，达到二维图像数据与三维点云数据的融合应用，进而实现电力部件与目标物之间的精细化特征描述、距离计算、位置关系判断等功能应用16。参考文献：1 王翰淼.图像识别在智能变电站一键顺控操作中的应用研究D.安徽理工大学,2019.2 钱卓昊,张红旗,卢梓睿.变电站屏柜运检中的图像识别技术应用J.集成电路应用,2023,40(3):210-211.3 张炜,黄锋,梁俊斌.变电站巡检机器人读取仪表指针示值方法研究J.机械设计与制造,2023(5):296-299.4 陈立功,李柯达,张泽宇,等.基于计算机视觉的目标测距算法J.弹箭与制导学报,2020,40(2):4.5 周启平,何伟,贾蕾.多旋翼无人机在电网建设工程的应用分析J.内蒙古电力技术,2022,40(01):79-82.DOI:10.19929/ki.nmgdljs.2022.0016.6 蔡德成,胡星,吴海洋,等.数字化技术在架空输电线路工程竣工验收中的应用研究J.电力大数据，2023,26(5)：90-100.7 祝永坤,李盟,张杰,等.基于泛在物联网的多机编队智能自主巡检移动式机舱研制与应用J.内蒙古电力技术,2020,38(01):55-58.8 刘平,张旭志,许邦鑫.变电站激光扫描点云数据与三维设计模型融合应用研究J.低碳世界,2020,10(12):2.9 Zhu X,Zhou H,Wang T,et al.Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based PerceptionJ.IEEE Transactions on Pattern Analysis and Machine（下转第80页）80云南电力技术第 52 卷2024 年第 2 期划的性能和效率相比传统方法都有明显提升。表1避障性能对比结果 方法障碍碰撞次数避障成功率/%时间/s提出的方法19625.3改进的决斗网络法58037.9改进的速度屏障法86829.43结束语为了解决机器人路径偏移和避障路径过长的问题，提出了一种基于双目视觉的变电站巡检机器人自主避障方法。通过双目立体视觉系统模型获取障碍物的位置、距离、形状等信息；利用矢量场直方图算法调整机器人的移动方向，实现自主避障。实验结果表明，所提方法的避障成功率 96%，避障时间仅为 25.3 s，避障路径和时间较短，有效提高了避障效果，可广泛应用于变电站机器人研究领域。参考文献1 万军,姚佳峰,郁亮,等.基于伪距离的壳余机器人避障算法J.机械工程学报(17),59-70.2 李心昊,乔宇,张凌.基于ROS的变电站室内巡检机器人的研究与设计J.电力大数据,2023,26(3):1-10.DOI:10.19317/ki.1008-083x.2023.03.0013 孙立祥,孙晓娴,刘成菊,等.人群环境信息与控制中基于深度强化学习的移动机器人避障算法.(01),107-118.doi:10.13976/ki.xk.2022.0099.4 徐文耀,何吉林.基于改进速度障碍法的水下航行器动态避障电光与控制.(12),86-90.5 赵晓勇,陈钦柱,郑红艳,等.基于道路场景理解微电子与计算机的巡检机器人避障方法研究与应用(04),118-127doi:10.19304/j.issn1000-7180.2012.1077.6 欧阳永平,魏昌云,蔡伯良.动态环境下分布式异构多机器人避障方法研究J.智能系统学报(04),752-763.7 李尔超,王玉华.基于改进人工势场法的移动机器人避障轨迹研究计算机工程与应用J.(06),296-304.8 庞世坤,梁晓峰,李颖慧,等.基于零空间行为方法的自主水下航行器避障策略J.上海交通大学学报(03),295-304doi:10.16183/ki.jsjtu.2020.03.009.9 郭汉庆,付丽霞,张勇,等.基于动态障碍电视技术的机器人避障路径规划方法J.(o1),73-77+84.doi:10.16280/j.videoe.2022.01.018.10 郭爱军,刘建宇,郑安.基于多传感器信息融合煤炭技术的消防机器人避障策略J.(04),201-203.doi:10.13301/ki.ct.2022.04.051.11 韩耀廷,赵志梅,郝晓宇,等.变电站巡检机器人路径规划智能算法优化J.内蒙古电力技术,2021,39(06):58-61.DOI:10.19929/ki.nmgdljs.2021.0122.收稿日期：2024-04-12作者简介：连宝晶，云南正恒科技有限公司。Intelligence,2021(01).DOI:10.1109/CVPR46437.2021.00981.10 刘俊生.基于激光点云与图像融合的车辆检测方法研究D.重庆理工大学,2019.11 顾斌.数字图像与激光点云配准及在建筑物三维建模中的应用D.徐州:中国矿业大学,2024.12 高翔,张涛,刘毅,等.视觉SLAM十四讲:从理论到实践M.北京:电子工业出版社,2019.13 Chi C,Zhang S,Xing J,et al.Selective refinement network for high performance face detectionJ.Proceedings of the AAAI Conference on Artificial Intelligence,2019,33:8231-8238.14 Tan M,Pang R,Le Q V.EfficientDet:Scalable and Efficient Object DetectionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2020：10778-10787.DOI:10.1109/CVPR42600.2020.01079.15 Wang T,Zhang X,Yuan L,et al.Few-shot adaptive faster R-CNNC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019.DOI:10.1109/CVPR.2019.00734.17 Yang Z,Liu S,Hu H,et al.RepPoints:Point Set Representation for Object DetectionC/2019 IEEE/CVF International Conference on Computer Vision(ICCV).IEEE,2019.DOI:10.1109/ICCV.2019.00975.18 李飞,王超,浦东,等.基于卷积注意力的输电线路防震锤检测识别J.计算机测量与控制,2022,30(03):48-53.18 张田,杨奎武,魏江宏,等.面向图像数据的对抗样本检测与防御技术综述J.计算机研究与发展,2022(006):059.19 Liu Z,Lin Y,Cao Y,et al.Swin Transformer:Hierarchical Vision Transformer using Shifted WindowsC/Proceedings of the IEEE International Conference on Computer Vision，2021，9992-10002.DOI:10.1109/ICCV48922.2021.00986.收稿日期：2024-04-10作者简介：张少杰（1994），男，硕士研究生，助理工程师，主要从事电力油气化学、电网氢储能、电力行业无人机自动巡检等方面工作。（E-mail）；赵李强（1988），男，硕士研究生，工程师，主要从事电力图像识别算法研究及工程化工作。（E-mail）。（上接第73页）