基于机器视觉与动作识别的变电站智能安监管控技术研究.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2021-12-29稿件编号：202112182基金项目：国家电网科技项目（2018BR3677）作者简介：翁凌雯（1998），女，福建福州人，硕士，工程师。研究方向：数据管理。基于机器视觉与动作识别的变电站智能安监管控技术研究翁凌雯1，王 栋1，潘 丹1，谢乾武1，胡东升2（1.国网福建信通公司，福建 福州 350013；2.安徽南瑞继远电网技术有限公司，安徽 合肥 230601）摘要：为了提升电力生产中变电站安全监控的智能化水平，基于机器视觉理论对视频信号中的动作识别方法进行了研究，提出了一种基于空间通道、局部时域通道及全时域通道的三通道卷积神经网络(CNN)算法。该算法在上述的3个通道中分别使用视频信号的静态帧图像、光流图像与差分亮度信息作为 CNN的输入，实现了视频序列在时域和空域上的关联，并有效提升了现有算法的学习能力。在对该网络参数进行识别时，为避免训练数据集冗余，还引入了基于Min-Batch思想的误差反向传播算法，从而有效提升了模型的泛化能力。仿真过程中，在每个通道中均使用了5个卷积层、3个池化层及2个全连接层的CNN网络。结果表明，在开放数据集上网络的识别精度较现有的Two-Stream CNN 网络可提升 3.09%；而在实际的生产数据集上，网络识别精度较 Two-Stream CNN能够提升5.17%。关键词：CNN；机器视觉；动作识别；变电站；安监管控中图分类号：TN99文献标识码：A文章编号：1674-6236（2023）16-0067-05DOI：10.14022/j.issn1674-6236.2023.16.014Research on intelligent safety supervision technology of substation based on machinevision and action recognitionWENG Lingwen1，WANG Dong1，PAN Dan1，XIE Qianwu1，HU Dongsheng2（1.State Grid Fujian Xintong Company，Fuzhou 350013，China；2.Anhui Nari Jiyuan Power GridTechnology Co.，Ltd.，Hefei 230601，China）Abstract:In order to improve the intelligent level of substation safety monitoring in power production，this paper studies the action recognition method in video signal based on machine vision theory，andextracts a threechannel Convolutional Neural Network(CNN)algorithm based on spatial channel，localtimedomain channel and full timedomain channel.In the above three channels，the algorithm uses thestatic frame image，optical flow image and differential brightness information of video signal as the inputof CNN，realizes the correlation of video sequence in time domain and space domain，and effectivelyimproves the learning ability of existing algorithms.When identifying the network parameters，in order toavoid the redundancy of training data sets，this paper introduces an error back propagation algorithmbased on Min Batch idea，which effectively improves the generalization ability of the model.In thesimulation process，the CNN network with 5 convolution layers，3 pooling layers and 2 full connectionlayers is used in each channel.The simulation results show that the recognition accuracy of the networkcan be improved by 3.09%compared with the existing TwoStream CNN network on the open data set；-67电子设计工程 2023年第16期电力生产包括发电、变电、输电及配电四个环节，其中变电是电网中连接发电与输电的重要枢纽，变电站安全、稳定地运行对于电力生产、经济发展与社会稳定均具有重要的意义。所以在电网公司的日常工作中，变电站的巡视、变电设备的维护及检修是保障其安全运行的重要手段1-3。随着智能电网建设进程的加快，变电站的运行维护面临着严峻的挑战，作业人员的资格准入、典型违章行为的及时发现及重要电力设施的状态监测均需运维人员的实时跟踪和全流程监管，而传统依靠人力的运维模式已无法满足电力生产的需求。因此，借助视频系统实现变电站的智能安全监控迫在眉睫4-9。现阶段，变电站中已建立了较为完善的视频监控系统，视频探头逐渐成为了保卫变电站安全生产环境的有效手段，且部分变电站已实现了摄像头的无死角覆盖。但目前的变电站视频系统仍局限于监视的阶段，无法及时识别视频中的危险信息，并实现对全流程智能化的安全监管。基于上述分析，该文基于机器视觉与动作识别技术针对变电站的智能安全监管问题展开研究，通过引入深度学习算法(DeepLearning,DL)，完成了视频信息的特征提取，进而实现了对危险行为的快速判别。1理论基础1.1机器视觉算法卷 积 神 经 网 络(Convolutional Neural Network,CNN)是机器视觉领域中常用的识别算法10-13，其包括卷积、池化和全连接这三种运算。而以 Two-Stream CNN 为代表的传统 CNN 网络能够将动作分解成“空间+时间”的“物理量+动作量”组合，且分别从空间通道、时域通道进行学习，并以此获得良好的动作识别效果。但随着视频信息的引入，该种结构的 CNN网络忽略了空间通道及时域通道间的关联，从而影响了其在视频信息处理中的应用。因此，该文充分考虑到动作的三维特性，将 Two-Stream CNN的时域通道扩展为局部时域和全局时域，并提出了一种三通道的卷积网络结构。该算法的基本流程如图1所示。图1三通道卷积网络算法流程由图可知，文中所使用的三通道神经网络从空间、局部时域及全局时域进行动作序列的特征提取，从而完成动作识别。空间通道的输入是静态图像，对于此种图像的处理主要包括卷积与池化两种运算。二者是 CNN网络中的基础运算，其中卷积运算的原理如下：g(x,y)=k,lf(x-k,y-l)*h(k,l)（1）其中，f(x,y)是静态图像的特征，h(k,l)是卷积所使用的卷积核。图2给出了卷积运算的示意图。图2卷积运算原理示意图池化是一种将原始图像的特征值进行降采样的运算，其能够有效避免深度学习网络训练过程中的维度爆炸现象。常用的池化方法有最大值池化、最小值池化及均值池化。文中使用的是均值池化，其基本原理如图3所示。图3池化运算原理On the actual production data set，the recognition accuracy of the network can be improved by 5.17%compared with TwoStreams CNN.Keywords:CNN；machine vision；action recognition；substation；safety supervision and control-68在局部时域通道中，使用图像的光流特征作为CNN网络的输入，其提取方法如下14-16。首先保留图像在 RGB 颜色空间内的所有成像值 E，并在该图像空间内按照颜色、梯度及速度三个维度建立如式（2）所示的约束方程：E(w)=Ecolor+Egradient+Esmooth（2）其中，和为偏置系数。Ecolor(w)=(|I2(x+w(x)-I1(x)dx Egradient(w)=(|I2(x+w(x)-I1(x)dx Esmooth(w)=(|u(x)2+|v(x)2)dx（3）式中，I1、I2是图像序列的邻域，x、w 分别是图像像素点的成像值和光流值，u和 v是图像横纵两个方向的速度，为图像的核函数。接着，在式（2）上引入方向梯度直方图(Histogram of Oriented Gradient，HOG)特征约束：Ematch(w)=(x)(x)(|w(x)-w1(x)2)dx EHOG(w)=(x)|HOG2(x+w1(x)-HOG1(x)2dx（4）其中，和是调节函数。在对全局时域通道空间进行特征处理时，采用亮度值的时间差分值作为CNN网络的输入。记图像在像素点(x，y)的亮度值为I，则其差分结果D为：D(x,y,t)=|I(x,y,t)-I(x,y,t-1)（5）接着，可得到全局时域特征：E(x,y,t)=i=0-1D(x,y,t-i)（6）如此便可得到三通道卷积网络在 3个卷积通道内的特征构造方法，而各个特征均需进行如图 2-3所示的卷积、池化操作。此外，对于 CNN 网络中的每个神经元，还需定义非线性激活函数。由于网络结构复杂，为避免算法在参数估计时出现梯度消失的现象，该文选择ReLU函数作为激励函数：f(x)=max(0,x)（7）1.2算法的参数估计在完成三通道 CNN网络的特征提取后，需对网络参数加以训练。采用误差反向传播算法(BackProragation,BP)进行网络的参数估计，首先定义网络在训练时所使用的代价函数：J()=12i=1m(h(x()i)-y()i)2（8）其中，h为隐藏层函数，表征模型的集合参数，其迭代更新的方法如下：newjj-jJ()（9）计算J()的偏导数：jJ()=(h(x)-y)ji=0nixi-y=(h(x)-y)xj（10）此时，可得到模型在第j次迭代后的参数集合：newjj-i=1m(y()i-h(x()i)x()ij（11）在进行样本迭代的过程中，式（11）实现了批量样本的梯度下降，但由于该文使用的样本集规模庞大，容易使训练陷入局部最优。因此，在训练过程中基于部分样本(Mini-Batch)，从规模为 m 的全体样本集中选择规模为n的Mini-Batch，以避免训练的过拟合。此时，式（8）可改进为：J(W,b)=12mi=1mi=1m(hW,b(x()i)-y()i)2+2l=1nli=1slj=1sl+1(W()lji)2（12）根据式（8）-（11）的方法，能够得到 CNN网络中W、b的迭代更新方法：W()lijnewW()lij-W()lijJ(W,b)b()linewb()li-b()liJ(W,b)（13）2方法实现2.1实验设计为验证所提算法的有效性，首先在开放数据集上对算法在动作识别方面的精度进行验证。然后基于实际的变电站生产数据，验证算法在实际生产环境下的智能安全监控效果。文中所使用的开放数据集为 UCF101，该数据集的相关信息如表 1第 2列所示。使用开放数据集的优势为便于和现有动作识别算法进行对比。此外，表1第3列还给出了该文自行采集的变电站内实际场景下的视频数据集。这些数据集包含了电力生产环境下的危险动作类别，如未佩戴安全帽、跨越危险区等10种违规告警。结合数据集的规模，在3个通道内均使用表2所示 CNN网络，该网络包括 5个卷积层、3个池化层及两个全连接层。且网络输出层神经元的个数与数据集中动作类别的个数一致。翁凌雯，等基于机器视觉与动作识别的变电站智能安监管控技术研究-69电子设计工程 2023年第16期表2CNN网络结构参数名输入层Conv1Pool1Conv2Pool2Conv3Conv4Conv5Pool3Fc1Fc2结构7777333333333333114 09612 0481步长/个15个22211111通道数/个9696256256512512512512仿真所使用的硬件环境参数及网络训练时使用的训练参数，如表3-4所示。表3算法仿真环境评级CPU内存GPU操作系统编程环境说明Intel 酷睿i7 1170K16GB DDR44NVIDIA GeForceWindows10.1Caffe表4网络的训练参数区域通用参数空间通道时域通道参数名Mini-BatchDropout最大学习训练时间/h迭代次数/次初始学习率5万次后学习率7万次后学习率迭代次数/次初始学习率1.5万次后学习率CNN输入序列个数参数值1 0000.92590 0000.010.0010.000 130 0000.010.001102.2实验结果如上文所述，该文提出的三通道 CNN网络先在UCF101上验证其分类性能，再应用于变电站的生产数据集中。算法在UCF101上的识别效果如表5所示。表5UCF上的仿真结果评级单通道_空间通道单通道_局部时域通道单通道_全时域通道Two-Stream CNN三通道CNN网络平均识别率（%）72.3580.2579.5685.2988.38从表 5 的识别结果看，当将三通道 CNN 网络中的 3个通道分别作为 CNN 网络的特征提取通道时，算法的平均识别率在 80%左右。其中，局部时域所在的通道平均识别率较高；当使用现有的 Two-Stream 算法进行动作识别时，识别率较单通道方法具有显著提升，且提高了 5%以上；而当使用该文提出的三通道识别算法时，算法的识别精度可达到88.38%，较双通道算法提升了 3.09%。这证明了通道数增加后，特征并未产生冗余，故第 3个特征通道的引入仍对算法识别率的提升产生了积极作用。图4算法在电力生产环境下的识别效果随后，该文在实际的电力生产环境下进行了仿真实验。图 4给出了算法在对于未佩戴安全帽这一电力生产违规行为的识别效果。经过对大量识别结果的统计，文中所提算法的识别精度为 93.45%，而Two-Stream CNN算法的识别精度为 88.28%，因此识别精度提升了 5.17%。综合来看，算法在电力生产环境下的识别效果较 UCF101具有显著提升。这主要是由于UCF101的样本中动作类别较多，且部分动作较为接近而导致的。3结束语文中设计了一种三通道卷积神经网络结构，通过在开放数据集和实际电力生产数据集上的仿真，验证了该算法可有效提升变电站生产中对于危险行为的识别精度。该算法增加了视频信号中的时空域关联，并对机器视觉领域中的空域、时域信号的融合处理提供了新的思路。在未来，随着智能电网建设进程的推进，变电站的安全智能监控技术将成为服表1数据集信息参数名称动作类别视频个数分辨率帧频率/fpsUCF10110113 32032024025变电站数据集103 21532024025-70务变电站运维的重要手段，且更广泛地应用于电力生产中。参考文献：1 杨学杰,李思毛,李建业,等.面向巡检机器人的电力设备状态检测算法研究J.计算机技术与发展,2021,31(3):201-205,210.2 张春晓,陆志浩,刘相财.智慧变电站联合巡检技术及其应用J.电力系统保护与控制,2021,49(9):158-164.3 赵宇皓,郝晓光,耿少博,等.智能变电站二次设备安全措施在线预演及防误预警的研究与实现J.电力科学与技术学报,2020,35(3):173-178.4 陈冉,杜炤鑫,葛立青,等.智能变电站设备运动视频信息检测方法研究J.电测与仪表,2021,58(8):97-103.5 陈汐,韩译锋,闫云凤,等.目标物智能跟踪与分割融合算法及其在变电站视频监控中的应用J.中国电机工程学报,2020,40(23):7578-7587.6 路富胜.基于S3C6410的变电站视频监控系统的研究D.淮南:安徽理工大学,2017.7 张玮珑.变电站视频分析系统的研究与实现D.保定:华北电力大学,2019.8 林孝斌,江浩侠,胡金磊,等.面向变电站安全监控的视频智能终端布点优化J.电力系统保护与控制,2019,47(12):146-152.9 陈涛.基于自组网的变电站远程视频监控系统设计J.电源技术,2017,41(1):155-156.10赵应丁,岳星宇,杨文姬,等.基于多特征融合卷积神经网络的显著性检测J.计算机工程与科学,2021,43(4):729-737.11魏赟,严正怡.结合注意力卷积神经网络的图像检索技术研究J.小型微型计算机系统,2021,42(11):2368-2374.12朱斌,刘子龙.基于新型初始模块的卷积神经网络图像分类方法J.电子科技,2021,34(2):52-56.13蒋燕翔.基于全卷积神经网络的计算机视觉目标检测算法J.沈阳工业大学学报,2021,43(5):557-562.14马翠红,王毅,毛志强.基于注意力的双流CNN的行为识别J.计算机工程与设计,2020,41(10):2903-2906.15Chen D,Zhang S,Ouyang W,et al.Person search byseparated modeling and a mask-guided Two-Str-eam CNN modelJ.IEEE Transactions on ImageProcessing,2020,19(9):153-166.16Huang X,Yang Q,Qiao H.Lightweight Two-Streamconvolutional neural network for SAR target reco-gnitionJ.IEEE Geoscience and Remote SensingLetters,2020,22(4):13-25.（上接第66页）研究J.电测与仪表,2020,57(13):17-22.9 唐圣学,李占凯,陈丽.基于Plecs的电力电子电路热-电仿真教学研究J.实验技术与管理,2016,33(7):126-128,135.10马后成,周晓敏,高大威.基于SiC功率器件的大功率DCDC变换器J.工程科学学报,2017,39(8):1224-1231.11Devineni G K,Ganesh A,Bhoopal N.Power lossanalysis in 15 level asymmetric reduced switchinverter using PLECS thermal model&SIMULINKprecise modelsJ.Journal Europendes SystmesAutomatiss,2021,54(1):73-84.12Ali M S,Wang L,Chen G Z.Simulation on SiC basedthree phase boost power factor correction rectifierusing MATLAB PLECS model and its numericalanalysisverificationC.Proceedingsofthe2ndInternational Conference on Robotics,Control&Automation Engineering(RCAE 2019),2019:194-199.13王议锋,崔玉璐,马小勇,等.一种交错并联双Buck全桥型双向并网逆变器J.电工技术学报,2019,34(21):4529-4539.14陈红星,林维明,曾涛.一种可扩展单元的高增益升压Cuk电路J.中国电机工程学报,2019,39(23):7013-7022.15李国泷,杨开建,程双钰,等.基于STM32的脉搏信号监测系统设计J.电子制作,2020(11):23-25.16马安会.基于FPGA的移相全桥开关电源系统设计J.信息技术与信息化,2021(4):166-168.(通信作者：赵志斌，)翁凌雯，等基于机器视觉与动作识别的变电站智能安监管控技术研究-71