基于条件生成式对抗网络和AlexNet-BiLSTM模型的变电设备缺陷检测.pdf

针对巡检机器人拍摄变电设备图像含噪严重、图像模糊和分辨率低影响设备缺陷检测的问题,提出一种基于条件生成式对抗网络和 AlexNet-BiLSTM 的变电设备缺陷检测方法,实现变电设备缺陷定位与辨识。首先,通过条件生成式对抗网络将模糊图像转换成清晰图像;其次,为了避免大量超参数的设置,提高网络的训练速度,引入迁移学习思想,采用变电设备图像训练预训练的 AlexNet 网络,通过 AlexNet 网络提取图像的高维特征向量,利用双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)对提取的特征向量进行分类;最后,在 R-CNN 框架下完成变电设备缺陷的标注和辨识。试验结果表明,所提方法复原的图像主观视觉效果良好,客观评价指标高,提高了变电设备缺陷检测准确率。关键词:条件生成式对抗网络;AlexNet 网络;长短时记忆网络;变电设备;缺陷检测中图分类号 TP391.41文献标志码 A文章编号 1004-7913(2023)07-0007-08基金项目:国家重点研发计划(2018YFF01011900)Detection of Substation Equipment Defect Based on Conditional Generative Type Adversarial Networks and AlexNet-BiLSTM ModelLI Yanfeng1,LIU Baohui1,MA Qingfeng2,DING Zhuwei1(1.Baoding Yige Communication Automation Co.,Ltd.,Baoding,Hebei 071000,China;2.Daqing Oilfield Design Institute Co.,Ltd.,Daqing,Heilongjiang 163712,China)Abstract:According to inspection robots shooting substation equipment with serious noise,blurred images,and low-resolution affect-ing device defect detection problems,a substation equipment defect detection method is proposed based on conditional generative ad-versarial network and AlexNet-BiLSTM to realize substation equipment defect localization and identification.Firstly,the blurred images are converted to clear images by the conditional generative type adversarial networks.Secondly,in order to avoid a large number of hy-perparameter settings and improve the training speed of the network,the migration learning idea is introduced.The images of substation equipment are used to train pre-trained AlexNet networks.The AlexNet network extracts the high-dimensional feature vectors of the im-age,and the extracted feature vectors are classified by using bi-directional long short-term memory(BiLSTM)network.Finally,the labeling and identification of substation equipment defects are completed in the R-CNN framework.The test results show that the pro-posed method has a good subjective visual effect of image recovery,a high objective evaluation index,and enhances substation equip-ment defect detection precision rate.Key words:conditional generative type adversarial networks;AlexNet networks;longshort-term memory networks;substation equip-ment;defect detection0 引言目前?,我国的变电站数量较多,变电设备的各种缺陷会影响电力系统的安全稳定运行,仅靠人工巡检不能保证运维人员的安全1,且工作效率低,增加了变电站设备缺陷检测的难度。采用巡检机器人检测变电站设备时,会受到拍摄角度等因素影响,造成拍摄图像模糊、形变和被遮挡,导致变8 东北电力技术2023 年第 44 卷第 7 期电设备图像特征不明显,影响设备缺陷检测的准确率。近年来,深度学习视觉检测在各个行业得到广泛的应用,并取得了较大的成功。文献2利用改进的 CenterNet 模型对玉米雄蕊完成识别,为农情检测提供了一个新的思路。文献3利用深度学习方法对轮对踏面缺陷进行检测,相比传统方法具有较高的检测准确率。文献4将频谱分析技术和深度信念网络有效结合,实现智能识别磨粒图像,识别率高达 99%以上。文献5利用卷积神经网络对绝缘子缺陷进行了检测,准确率高,并减少了人为因素的干扰。文献6利用迁移学习的方法实现水雷目标检测,优于传统的特征提取方法,对水下目标检测具有一定的指导意义。文献7 在 Faster RCNN 框架下实现风电机组的视觉检测。在实际图像视觉检测中,拍摄的图像可能存在形变和模糊,影响图像智能检测。可以采用图像复原的方法,将模糊图像变得清晰。文献8利用混沌遗传算法实现遥感图像复原,不仅提高了图像的清晰度,也提高了光谱质量。文献9利用注意力机制实现模糊图像盲复原算法,复原后的图像具有更加锐利的边缘,图像也拥有更加清晰的细节。文献10利用卷积神经网络恢复动态模糊图像的清晰度。生成式对抗网络(generative adversarial network,GAN)广泛应用在图像转换、图像生成、图像风格迁移和图像复原等领域。针对变电设备缺陷检测,本文提出条件生成式对抗 网 络(conditional generative adversarial networks,CGAN)和 AlexNet-BiLSTM 变电设备缺陷检测方法。通过 CGAN 网络复原变电设备图像,解决图像模糊、分辨率低和含噪严重等问题。为了防止网络陷入局部最优解,引入迁移学习思想,利用AlexNet 网络提取图像高维特征向量,通过双向长短时记忆网络(bi-directional long short-term mem-ory,BiLSTM)对特征向量进行分类。在 R-CNN 框架下通过端到端训练实现自主标注变电设备图像的缺陷位置。1 条件生成式对抗网络图 1 为生成式对抗网络的结构图,图 1 中 x 和z 分别为清晰图像和模糊图像,D 和 G 分别代表判别器函数和生成器函数。GAN 网络通过生成器与判别器之间的相互博弈优化整个模型,生成器利用判别器的反馈结果优化自身参数,不断判断生成器生成数据的清晰度,直到 2 个模型达到纳什均衡,判别器无法分辨生成模型的清晰度11。生成器和判别器的目标函数如式(1)所示。minG maxDV(D,G)=ExPdata(x)lnD(x)+EzPz(z)ln(1-D(G(z)(1)式中:xPdata(x)表示实际数据集的清晰图像;zPz(z)代表模糊图像,用生成器生成清晰图像,用判别器判断生成的清晰图像与原始清晰图像之间相似程度,直到判别器无法区分生成的图像与原始图像之间的清晰程度。图 1 GAN 结构CGAN 是对 GAN 的改进12,其结构如图 2 所示,通过加入条件值使得整个网络可以更加有效地判别图像是原始图像还是生成图像,使得生成的图像和原始图像共享信息。本文的条件值是模糊图像,公式如下:图 2 CGAN 结构2023 年第 44 卷第 7 期李艳丰,等:基于条件生成式对抗网络和 AlexNet-BiLSTM 模型的变电设备缺陷检测9 minGmaxDV(D,G)=ExPdata(x)lnD(x|y)+EzPz(z)ln(1-D(G(z|y)(2)式中:y 代表条件值。通过与式(1)对比可以看出,CGAN 是在 GAN的基础上引入了条件值。通过引入条件值还可以改善在生成图像过程中由于真实图像与生成图像相似性高而无法有效区分图像是真实图像还是生成图像的问题。本文利用 CGAN 消除图像的模糊性和噪声,流程如图 3 所示,生成的图像不但具有较高的清晰度,还能够保留原始图像的内容。生成清晰图像有利于后续采用深度学习实现变电设备缺陷识别。图 3 图像去模糊流程本文采用的生成器和判别器的网络结构如图 4所示,整个网络采用的是一种卷积神经网络的形式,包含卷积层、归一化层和 ReLU 函数层。为了防止网络出现过拟合现象,采用了 Dropout 技术。为了提高生成模型生成图像的清晰度,在生成网络的框架里加入了图像去模糊模块和 ResNeXt 残差模块。生成高清的图片可以为深度学习实现变电设备缺陷识别打下良好的基础。判别器同样采用卷积神经网络的结构,每个卷积层后接 1 个激活函数层,通过判别器判断生成图像的真假。2 AlexNet-BiLSTM2.1 卷积神经网络卷积神经网络(convolutional neural network,CNN)的基本结构如图 5 所示,包括输入层、卷积层、池化层、全连接层和输出层13-16。CNN 通过卷积层和池化层的交替运算作为提取器提取图像的特征,将提取的特征排成列向量,将全连接层和输出层作为分类器,实现特征向量分类17。CNN 最重要的步骤是通过卷积层提取图像特征,卷积层越多,提取的特征向量越丰富18-20。每一种卷积核对应一种图像的特征,图 6 给出了不同卷积核提取的特征。从图 6 可以看出,水平梯度卷积能够提取图像的水平信息,垂直梯度卷积能够提取图像的竖直信息,Laplacian 卷积能够更好的提取图像的全局信息。设 h 为卷积层的输出,则:h=f(x+b)(3)式中:f 为激活函数;x 为输入图像;和 b 分别为网络的权值矩阵和偏置向量。为了防止网络出现过拟合,采用池化操作对特征图降维,池化操作包括最大池化操作和平均池化操作。为了辨别目标的类型,将卷积池化得到的特征向量展平作为全连接层的输入,设 Fi为全连接网络的输出,则:(a)生成器的网络结构10 东北电力技术2023 年第 44 卷第 7 期(b)判别器的网络结构图 4 生成器和判别器网络结构图 5 卷积神经网络的基本结构图 6 不同卷积核提取特征效果Fi=f(WiFi-1+bi)(4)输出层的任务有分类和回归预测 2 种17,若CNN 网络用于分类任务,则采用 softmax 函数,以概率的形式输出结果。通过损失函数判断预测结果与真实结果之间的残差。常见的损失函数如下:MSE(W,b)=1|Y|Y|i=1(Y(l)-Y(l)2(5)NLL(W,b)=-|Y|i=1lgY(l)(6)式(5)为均方根误差损失函数;式(6)为负对数似然损失函数;Y 为网络输入的概率分布。CNN 网络常采用梯度下降法对网络的参数进行更新,详细描述如下:Wi=Wi-E(W,b)Wi(7)bi=bi-E(W,b)bi(8)式中:W 和 b 分别 CNN 网络的权重参数和偏移参量;为学习速率用于控制网络反向传播的强度。2.2 AlexNet 网络随着卷积神经网络在各个行业的广泛普及,涌现除了许多经典的网络,表 1 给出了典型卷积神经网络的模型优点及缺点。从表 1 可以看出,LeNet网络的拓扑结构简单,训练时长短,但是分类准确率低。GoogLeNet 虽然有较高的分类准确率,但是网络结构过于复杂,训练时需要消耗大量的时间。然而,AlexNet 网络的结构简单,训练时间短,并且具有较高的图像特征提取能力。因此,本文采用AlexNet 网络作为特征提取器,其结构见图 7。表 1 典型局卷积神经网络模型优点缺点LeNet训练模型耗时少图像分类准确率较低AlexNet网络拓扑结构简单、训练 模 型 耗 时 少、图 像 分 类 准 确 率较高输入网络的图片的大小需要固定GoogLeNet图像分类能力较高网络结构复杂、训练时间长、输入的图片需要固定大小从图 7 可以看出,AlexNet 网络包含 5 个卷积层和 3 个全连接层,全连接层采用 Dropout 技术,最后通过 softmax 层输出概率,进行分类。相比传统的模式识别方法,通过深度学习的方式实现模式识别,不需要手工的从数据中挖掘特征。通过变电设备图像训练已训练的 AlexNet 网络可以不用事先设定超参数,避免网络过拟合或陷入局部最优解。2023 年第 44 卷第 7 期李艳丰,等:基于条件生成式对抗网络和 AlexNet-BiLSTM 模型的变电设备缺陷检测11 图 7 AlexNet 网络的基本结构2.3 长短时记忆网络图 8 给出了循环神经网络(recurrent neural networks,RNN)基本结构。x 为网络的输入,o 表示网络的输出,U、V、W 为网络权重系数。在训练 RNN 时,整个网络很容易出现梯度消失或梯度爆炸问题,影响网络的分类性能。图 8 RNN 基本结构长短 期 记 忆 网 络(long short term memory,LSTM)是对 RNN 的一种改进算法21。LSTM 的基本结构如图 9 所示。图 9 LSTM 基本结构LSTM 的门结构功能叙述如下。a.忘记门。作用是决定 Cell 中需要丢弃什么信息,其计算式为ft=(Wfht-1,xt+bf)(9)b.输入门。作用是控制信息的输入比例。it=(Wiht-1,xt+bi)(10)Ct=tanh(Wcht-1,xt+bc)(11)当进行细胞状态的更新时,新的细胞状态由遗忘门和输入门的输出结果确定,如下所示:Ct=ftCt-1+itCt(12)c.输出门。作用是控制信息输出,其数学模型为ot=(Woht-1,xt+bo)(13)ht=ottanh(Ct)(14)式中:W 和 b 分别代表权重和偏置项;tanh 为激活函数。BiLST 是 LSTM 的改进模型,通过正向和反向双循环传播组合进行递归运算,达到提高模型精度的目的。其网络结构如图 10 所示。BiLSTM 在LSTM 的基础上增加了未来数据到过去数据的通道,可以更好的挖掘特征向量的信息。图 10 BiLSTM 基本结构3 变电设备缺陷检测流程对 10 类变电设备缺陷进行识别,包括表计破损、呼吸器漏油、油封破损、金属锈蚀、绝缘子破损、鸟巢、呼吸器变色、鸟粪、硅胶变色和线夹异物。因此,需要将 AxleNet 网络的最后一个全连接层修改为 10。变电设备缺陷检测的基本框架如图11 所示。利用巡检机器人拍摄变电设备图像,在边缘设备上部署变电设备缺陷智能检测模型。利用CGAN 算法对摄像头采集到的图像进行去模糊或去噪处理,通过 AlexNet 网络提取图像特征,利用BiLSTM 对设备缺陷进行分类,在 R-CNN 框架下对缺陷位置进行标注,通过无线网络将检测到的变电设备缺陷类型上传到云端服务器上。12 东北电力技术2023 年第 44 卷第 7 期图 11 变电设备缺陷智能检测框架4 试验与分析4.1 试验数据本文将对变电设备 10 种缺陷类型进行识别,样本数据集大小如表 2 所示。表 2 变电设备缺陷数据集缺陷类型训练样本数测试样本数表计破损30001500设备渗油35001800油封破损25001000金属锈蚀36001200异物25001000绝缘子破损26001000鸟巢30001500鸟粪26001000呼吸器变色40002000硅胶变色350018004.2 CGAN 图像复原CGAN 的训练过程如图 12 所示,无论是生成器的损失函数还是判别器的损失函数都从高位降到低位,最后在一定范围内波动,说明网络训练速度快,收敛性好。利用训练好的网络生成高清图片。图 12 CGAN 损失函数变化趋势 为了显示 CGAN 图像复原效果,与 Richardson-Lucy(R-Lucy)算法和盲卷积(blind convolution,B-conv)算法进行对比,所得结果如图 13 所示。从图 13 可以看出,在主观视觉上,相比 R-Lucy和 B-conv 算法,CGAN 的去模糊效果最佳。CGAN恢复的图像保真度高,色彩方面与模糊图像的颜色较为一致。可以看出,通过 CGAN 恢复图像,不但能保证图像的清晰度,还能保留图像的重要信息。图 13 不同方法对模糊图像去模糊的主观试验结果 通过峰值信噪比(peak signal-to-noise ration,PSNR)和结构相似度(structural similarity,SSIM)对 3 种方法的去模糊效果进行客观评价22,所得结果如表 3 所示。PSNR 的数值越大说明图像的失真越少;SSIM 越接近 1 说明与原图像越接近。从表 3 可以看出,CGAN 方法的客观评价指标最高,相比 R-Lucy 和 B-cov 算法有较大提高。表 3 不同去模糊方法的客观试验结果方法PSNR/dBSSIMR-Lucy15.15320.7821B-conv17.69160.8013CGAN35.09250.9762实际拍摄的变电站图像可能含有噪声,对比中值滤波、维纳滤波、变分模态分解、CGAN 的去噪效果,如图 14 所示,可以看出 CGAN 的去噪效果最好,得到的图像噪点最少。通过 CGAN 对模糊或者含噪图像进行复原,可以增强图像的有效信息,图 15 给出了在不同样本数量情况下的图像去模糊和不去模糊的准确率对比,可以看出,图像去模糊后,缺陷辨识的准确率明显高于图像不去模糊的准确率。2023 年第 44 卷第 7 期李艳丰,等:基于条件生成式对抗网络和 AlexNet-BiLSTM 模型的变电设备缺陷检测13 图 14 不同方法去噪结果对比图 15 图像去模糊与不去模糊准确率对比4.3 AlexNet 特征向量有效性验证通过 CGAN 对拍摄的图像复原以后,利用AlexNet 提取特征,通过 BiLSTM 对提取的特征进行分类。对表 2 的 10 类缺陷进行识别。为了验证AlexNet 网络提取特征向量能力,通过 t-SNE 对提取到的特征向量进行降维可视化,所得结果如图16 所示,可以看出,相同缺陷类型相互聚集,不同缺陷类型有所区分,说明 AlextNet 提取的缺陷特征向量具有一定的辨识率。4.4 变电设备缺陷定位通过 AlexNet 提取特征,利用 BiLSTM 进行缺陷分类,在 R-CNN 框架下实现缺陷定位,图 17给出了缺陷定位结果。从图 17 可以看出,对于不同背景、不同设备和不同的拍摄角度,本方法均能准确地标注变电设备的缺陷类型。5 结论巡检机器人检测变电设备时,可能出现图像模糊或含噪声,影响缺陷检测鲁棒性和准确性。对此,提出一种基于条件生成式对抗网络和 AlexNet-图 16 t-SNE 降维可视化结果图 17 设备缺陷定位结果BiLSTM 的变电设备缺陷检测方法,实现变电设备缺陷定位与辨识,得出以下结论。a.利用 CGAN 对视觉感知终端拍摄的图像进行去模糊或去噪处理,得到的图片主观视觉效果良好,客观评价指标高。清晰的图像特征为深度学习分类提供了良好的素材。b.通过 AlexNet 提取的特征,在降维可视化的条件下,同类缺陷特征相互聚集,不同缺陷类型区分度明显。c.通过 BiLSTM 对提取的特征向量进行分类,在 R-CNN 框架下可以准确地标注变电设备缺陷位置。本文方法为变电设备缺陷类型检测提供了一个新的思路,可以大大提高变电设备检测的效率,提升变电设备检测智能性。14 东北电力技术2023 年第 44 卷第 7 期参考文献:1 于彦良,李静力,王 斌.改进深度学习优化电力设备缺陷图像识别 J.机械设计与制造,2021(7):176-178,183.2 杨蜀秦,刘江川,徐可可,等.基于改进 CenterNet 的玉米雄蕊无人机遥感图像识别 J.农业机械学报,2021,52(9):206-212.3 张 力,黄丹平,廖世鹏,等.基于目标检测网络的轮对踏面缺陷检测方法 J.激光与光电子学进展,2021,58(4):244-253.4 樊红卫,胡德顺,高烁琪,等.基于深度信念网络的铁谱图像智能识别方法与试验验证 J.润滑与密封,2021,46(7):15-22.5 何宁辉,王世杰,刘军福,等.基于深度学习的航拍图像绝缘子缺失检测方法研究 J.电力系统保护与控制,2021,49(12):132-140.6 盛子旗,霍冠英.样本仿真结合迁移学习的声呐图像水雷检测 J.智能系统学报,2021,16(2):385-392.7 徐一鸣,张 娟,刘成成,等.迁移学 习模式 下基于GoogLeNet 网络的风电机组视觉检测 J.计算机科学,2019,46(5):260-265.8 王晓燕,李 杰,彭帮平,等.动态混沌扰动遗传算法的振动模糊高光谱图像复原 J.光谱学与光谱分析,2021,41(7):2219-2225.9 林晨,尹增山.基于注意力机制的图像盲去模糊算法J.计算机应用,2020,40(S2):151-157.10 LIU K H,YEH C H,CHUNG J W,et al.A motion deblur method based on multi-scale high frequency residual image learning J.IEEE Access,2020,8:66025-66036.11 陈慧雅,伍锡如.基于生成对抗网络的交通模糊图像复原J.桂林电子科技大学学报,2021,41(2):167-172.12 朱超平,杨永斌.基于改进的 Faster-RCNN 模型的汽车轮毂表面缺陷在线检测算法研究 J.表面技术,2020,49(6):359-365.13 MAO X D,LI Q,XIE H R,et al.Least squares generative ad-versarial networks.In:Proceedings of the 2017 IEEE Interna-tional Conference on Computer Vision.Venice,Italy:IEEE,2017:2813-2821.14 姜媛媛,张书婷.基于改进的 VMD 和 CNN 神经网络的光伏逆变器软故障诊断方法研究 J.电测与仪表,2021,58(2):158-163.15 薛家祥,陈海峰.基于卷积神经网络的光伏阵列污染报警系统 J.电测与仪表,2020,57(7):54-59.16 刘 娜,宋 娟,董 丽,等.基于多尺度卷积神经网络的高光谱图像分类 J.计算机仿真,2021,38(7):451-455,466.17 左 羽,徐文博,吴 恋.植物识别融合式双特征卷积神经网络 J.计算机工程与设计,2021,42(6):1706-1712.18 刘吉华,张梦迪,彭红霞,等.基于卷积神经网络的汽车销量预测模型 J.计算机科学,2021,48(S1):178-183,189.19 马怀祥,冯旭威,李东升,等.基于 CNN 和 XGBoost 的滚动轴承故障诊断方法 J.中国工程机械学报,2021,19(3):254-259.20 李宏波,朱永利,王京保.基于多层特征融合 CNN 的变压器 PRPD 图谱识别 J.电测与仪表,2020,57(18):63-68.21 刘恒勇,刘永礼,邓世聪,等.一种基于 LSTM 模型的电力负荷辨识方法 J.电测与仪表,2019,56(23):62-69.22 张 婷,赵 杏,陈文欣.基于条件生成对抗网络的图像去雾方法 J.计算机应用,2021,41(S2):248-253.作者简介:李艳丰(1983),男,学士,工程师,从事配电网研究工作。(收稿日期 2022-09-10)(编辑:孙丝萝)(上接第 6 页)7 贾成真,王灵梅,孟恩隆,等.风光氢储发电系统的容量优化 配置及 日前优 化调度 J.中国电 力,2020,53(10):80-87.8 XU D,YUAN Z,BAI Z,et al.Optimal operation of geothermal-solar-wind renewables for community multi-energy suppliesJ.Energy,2022,249:13672.9 ZHANG Y,SUN H,TAN J,et al.Capacity configuration opti-mization of multi-energy system integrating wind turbine photo-voltaic hydrogen battery J.Energy,2022,252:124046.10 董 砚,卢禹,雷兆明,等.风光储制氢下多台制氢机组优化调度研究 J.高技术通讯,2022,32(1):77-83.11 段青熙,袁铁江,梅生伟,等.风电-氢储能与煤化工多能耦合系统能量协调控制策略 J.高电压技术,2018,44(1):176-186.12 姚 芳,杨晓娜,葛磊蛟,等.风-光-氢能源系统容量优化配置研究 J.综合智慧能源,2022,44(5):56-63.13 ZHANG W,MALEKI A,NAZARI M.Optimal operation of a hydrogen station using multi-source tenewable energy(solar/wind)by a new approach J.Journal of Energy Storage,2022,53:104983.14 张孝顺,谭恬,蒙蝶,等.基于光伏系统的动态代理模型最大功率点跟踪算法研究 J.华电技术,2021,43(8):1-10.15 ALIRAHMI S,RAZMI A,ARABKOOHSAR A.Comprehensive assessment and multi-objective optimization of a green concept based on a combination of hydrogen and compressed air energy storage(CAES)systems J.Renewable and Sustainable Energy Reviews,2021,142:110850.16 KHAYRULLINA A,BLINOV D,BORZENKO V.Novel kW scale hydrogen energy storage system utilizing fuel cell exhaust air for hydrogen desorption process from metal hydride reactor J.En-ergy,2019,183:1244-1252.作者简介:刘宏亮(1983),男,高级工程师,从事新能源开发技术研究工作。(收稿日期 2023-02-26)(编辑:刘 娟)