无人机巡检图像电力小部件识别技术研究.docx

无人机巡检图像电力小部件识别技术研究 张鸥 徐强胜 刘靖波 刘瑞 史哲 彭丹青 贾高毅摘 要：随着无人机（UAV）在电巡线作业中的应用推广，对无人机巡检图像的目标识别需求也越来越强烈。传统的电力部件识别流程常使用经典的机器学习算法，如支持向量机（SVM）、随机森林或adaboost，结合梯度、颜色或纹理等浅层特征来对电力部件进行识别，难以达到较高的准确率。随着卷积神经网络（CNN）在目标识别中的兴起，基于区域的卷积神经网络（RCNN）通过使用CNN从图像中提取可能含有目标的区域来检测并识别目标。Fast R-CNN和Faster R-CNN利用CNN网络提取图像特征，后接一个区域提议层，优化了提取可能含有目标区域的方式并改进识别目标的分类器，使得目标的检测和识别几乎实时。本文详细描述了Faster R-CNN算法流程，并分析了几个关键参数，如dropout比例、nms、批处理尺寸对识别结果的影响，给出了一些针对Faster R-CNN算法的建设性调优建议。最后利用实际采集的电力小部件巡检数据构建的数据集对Faster R-CNN算法进行测试验证。实验结果表明，基于深度学习的识别方法实现电力小部件的识别是可行的，而且利用Faster R-CNN进行多种类别的电力小部件识别定位可以达到每张近80ms的识别速度和92.7%的准确率。这些结果也表明Faster R-CNN算法的优势。关键词：无人机巡检图像 电力部件识别：TM755 ：A ：1674-098X（2019）05（b）-0110-04近几年随着无人机（Unmanned Aerial Vehicle，UAV）在各行业应用的逐渐普及，电力巡线无人机受到各大电网公司的广泛关注。一方面，无人机巡线具有野外作业风险低、成本低以及作业灵活的特点;另一方面，产生的海量数据需要经过人工判读才能得到最终的巡检报告，因此采用图像识别的方法对这些数据进行部件检测识别具有十分重要的意义。无人机巡检得到的图像背景复杂、小部件与背景对比度低、不同地区不同季节背景差异较大、存在大量干扰。传统的电力部件识别算法主要采用SIFT（Scale-invariant feature transform）、边缘检测符、HOG（Histogram of Oriented Gridients）等，并不很好的适用于电力部件，采用的分割算法主要基于部件外围轮廓骨架、自适应阈值等进行图像分割。这些方法缺少对低层特征进行综合利用进而达到全局最优识别的目的。Malik团队的轮廓检测及层次图像分割方法和多尺度组合聚合（Multiscale Combinatorial Grouping， MCG）方法以及J. Uijlings和Kvan de Sande等人提出的基于选择性搜索（Selective Search）的目标识别方法给出了将多种低层次特征进行全局优化并构建层次结构模型的范式，提高了准确率。本文研究了深度学习在电力部件识别中的应用，以及采用优化算法对参数进行调优，针对电力小部件识别问题分析了Faster R-CNN算法的效果和性能。1 基于区域提议的卷积神经网络RCNN电力部件识别主要有目标位置的确定与目标类别的判定。对于目标位置的确定，主要有滑动窗和区域提议的方式。其中区域提议方式识别的典型算法是基于区域的卷积神经网络RCNN。Ross等在2014年提出的基于区域的卷积神经网络方法RCNN，成为基于区域提议方式进行识别的典型方案。在检测阶段域。RCNN分为以下4个步骤：（1）使用视觉方法（如Selective Search）生成大量候选区。（2）对每个候选区域用CNN进行特征提取，形成高维特征向量。（3）将这些特征量送入一个线性分类器计算属于某个类别的概率，用于判断所包含对象。（4）对目标外围框的位置和大小进行一个精细的回归。RCNN第一步的区域提议是选择性搜索，使用得分最高的前2000个区域可以有效减少后面特征提取的计算量，能很好地应对尺度问题;CNN在实现上采用GPU进行并行计算，外围框回归使得对目标定位的精确性进一步提升。在训练阶段，RCNN也有以下4个步骤：（1）首先，使用选择性搜索集中生成每张图片的候选区域，并对每个候选区域用CNN提取特征，这里CNN采用的是训练好的ImageNet网络。（2）其次，利用候选区域和提取出的特征对ImageNet网络进行调优，调优依據标准的反向传播算法进行，从特征层开始向后调整各层权重。（3）然后，以特征层输出的高维特征向量和目标类别标签为输入，训练支持向量机。（4）最后，训练对目标外围框位置和大小进行精细回归的回归器。2014年和2015年，Ross和微软亚洲研究院的研究者陆续提出了改进的RCNN方法，包括首次引入空间金字塔池化层从而放宽了对输入图片尺寸限制并提高准确率的SPPnet;采用自适应尺度池化能够对整个网络进行调优从而提高深层网络识别的准确率的Fast R-CNN;最后是Faster R-CNN，通过构建精巧的区域提议网络来代替时间开销大的选择性搜索方法，从而打破计算区域提议时间开销大的瓶颈问题，使实时识别成为可能。本文主要研究了利用Faster R-CNN方法对电力部件进行识别。2 基于Faster R-CNN方法的电力部件识别定位2.1 电力部件识别的网络训练Faster-RCNN方法包含两个CNN网络：区域提议网络RPN（Regional Proposal Network）和Fast R-CNN检测网络。训练阶段的主要步骤如图1所示。（1）预训练CNN模型。RPN网络和检测网络都需要预训练的ImageNet网络进行初始化，通常采用的网络主要有ZFnet网络和VGG16网络。因本文数据集规模较小，故选用ZFnet网络。利用ILSVRC2012图像分类任务中的训练数据（120万张图像，1000类）对ZFnet模型进行预训练。区域提议网络和检测网络都是在ZFnet输出后添加特定的层得到的。这些特定层可以对输入图片提取出可能含有目标的区域，并计算出该区域为目标的概率。（2）RPN网络训练。用电力部件图像构建图像训练集，但电力部件图像集与预训练图像集无论是类别数量还是图像样式都存在很大的差别。在用电力部件图像集训练RPN网络时，直接用上一步预训练的ZFnet模型初始化RPN，使用反向传播算法对区域提议网络进行调优。RPN网络输入为任意大小图像，输出为可能包含目标的区域框。如图3所示，在ZFnet的CONV5后面添加一个小的卷积层，对于特征图上的每一个位置（对应原始图像上一个位置），由小卷积层进行卷积运算，即在此位置开一个小窗口进行卷积运算，得到同一个位置对应的256维向量（由于有256个通道），该向量反映了该位置小窗口（对应原始图像上某一窗口）内的深层特征。由这个256维的特征向量可以预测：（1）该位置小窗口属于目标/背景的概率值，即得分;（2）该位置附近包含目标的窗口相对于该位置小窗口的偏差，用4个参数表示，2个平移，2个放缩。采用3种不同尺寸和3种不同比例（1：1，1：2，2：1）组合成的9种基准小窗口对包含目标的窗口的位置进行预测，可以使区域提议更加准确。（3）Fast R-CNN检测网络训练。根据上一步生成的区域提议结果是基于Fast-RCNN方法训练独立的检测网络，检测网络也利用ZFnet预训练模型初始化。对输入图像进行5层卷积网络的特征提取，第5层特征图（CONV5）是一个256256的特征图，取出CONV5上对应的深度特征，将256个通道内的全部特征串联成一个高维（4096维）特征向量，称为FC6特征层，后面添加另一个4096维的特征层，形成FC7，FC6和FC7之间采用完全连接。由FC7特征层可预测：候选区域框属于每个类别的概率，即得分;目标对象外围框的更合适的位置，用它相对于候选区域框的2个平移和2个放缩共4个参数表示。通过预先标记的信息利用反向传播算法对该检测网络进行微调。（4）两个网络的CNN共享和联合调优。将两个网络单独训练并未实现卷积网络的参数进行共享。利用第三步训练的检测网络来初始化RPN网络，并固定共享的深度卷积层（如图2），对RPN网络的特殊部分进行调优，为了与检测网络对应，称此部分为RPN网络的FC层，这样两个网络就共享了深度卷积层。最后，固定共享的卷积层，对Fast R-CNN的FC层进行调优。这样两个网络就共享了卷积层并形成了一个联合的网络。2.2 检测识别过程由上可知，RPN网络和Fast R-CNN网络最终共用同一个5层的卷积神经网络，使得整个检测过程只需完成一系列卷积运算即可完成检测识别过程，彻底解决了原来区域提议步骤时间开销大的瓶颈问题。检测识别的过程如图2所示，其实现步骤为：（1）对整个图像进行系列卷积运算，得到特征图CONV5;（2）由区域提议网络在特征图上生成大量候选区域框;（3）对候选区域框按照得分排序后，进行非最大值抑制，保留得分較高的前300个框;（4）取出特征图上候选区域框内的特征形成高维特征向量，由检测网络计算类别得分，并预测更合适的目标外围框位置。3 实验结果对比无人机拍摄影像具有分辨率较高、目标较小的特点，拍摄影像的角度具有多样性和随机性。本文识别3类小型电力部件间隔棒、防震锤和均压环。3.1 训练样本处理本文构建的数据集为多旋翼无人机和直升机巡检图像从时间上覆盖了春、夏、秋、冬四个季节。原始影像像素大小为51843456（如图3（a），截取以目标为主体的正方形小块图像，统一放缩至500500（如图3（b），作为训练样本。3.2 训练集和测试集构建本次试验，对于间隔棒、均压环和防震锤的每一类部件，训练样本分别为1500张，三类目标共4500张，测试样本分别为500张，三类目标共1500张。对训练集中每张图片里完整出现的没有被遮挡的小型电力部件标记其外围框（训练集图片中不完整或被遮挡的电力部件不标记）;而对测试集，要标出每张图片里出现的所有电力部件，包括不完整的和被遮挡的。测试时，识别出的外围框与标记的外围框重叠面积达到标记外围框的90%以上时就视为一次成功识别。本次试验中，评价指标为正确率和召回率，其中正确率为目标类别标记正确的外围框个数与所有标记出的外围框个数的比值;召回率为目标类别标记正确的外围框个数与所有标准的外围框个数的比值。由于本次试验识别的类别仅有三种类型，因此分别对每一类电力部件识别的正确率和召回率做统计。3.3 实验结果本文使用Caffe框架实现卷积神经网络模型。根据mAP最大时对应的参数，对测试集使用Faster-RCNN进行部件识别，Faster R-CNN方法识别的准确率较高。这主要是由于区域提议网络可以产生更精准的候选框，并且Faster R-CNN在网络训练的第2步对全部特征层和卷积层的权重进行了调优。并且Faster R-CNN采用的区域提议网络和检测网络具有很好的泛化能力，对各种不同方向的部件都可正确识别。图4是利用Faster RCNN方法对同一张图片进行间隔棒识别的结果，并按照顺时针方向为图中3个间隔棒标号，表1表示Faster RCNN方法将间隔棒识别为间隔棒的概率。本文所有试验均基于同一台服务器而进行测试，测试集图片大小为51843456，Faster R-CNN方法使用Nivdia Titan Black GPU（6G显存）进行卷积计算，识别过程耗用3G显存，非最大值抑制采用GPU实现。从表2可以看出，Faster R-CNN中，由于卷积特征的共用（区域提议网络和检测网络的特殊层都添加在共用的特征图CONV5的后面），使得区域提议时间几乎可以忽略不计，检测时间可以在近80ms内即可完成。4 结语本文验证了利用Faster R-CNN算法对电力小部件识别的准确性和效率，并分析了不同参数对检测结果的影响。实验表明利用经过GPU加速可以近实时目标检测和识别，可为后期无人机巡检图像的智能化处理及巡检无人机的精确拍摄奠定良好的基础。此外，根据深度学习的特点，构建更大的样本库可能进一步提高准确率。下一步的工作是构建更加精细的识别类别，甚至将某些部件的缺陷图像都可视为一种类型，这样不但可以实现目标部件的分类，还可实现部件的缺陷识别。参考文献1 苑津莎， 崔克彬，李宝树.基于ASIFT算法的绝缘子视频图像的识别与定位J.电测与仪表，2015（7）：106-112.2 吴庆岗.复杂背景输电线图像中部件边缘提取算法研究D.大连海事大学，2012.3 金立军，胡娟，闫书佳.基于图像的高压输电线间隔棒故障诊断方法J.高电压技术，2013，39（5）：1040-1045.4 曹婧.航拍输电线路图像中绝缘子部件的提取D.大连海事大学，2012. -全文完-