基于深度学习算法的无线传感器异常数据检测.pdf

第 卷第期年月计算技术与自动化C o m p u t i n gT e c h n o l o g ya n dA u t o m a t i o nV o l ,N o J u n 收稿日期:作者简介:陈怡娜(),女,陕西西安人,硕士研究生,研究方向:计算机应用技术.通信联系人,E m a i l:c h e n y n c o m文章编号:()D O I:/j c n k i j s j s y z d h 基于深度学习算法的无线传感器异常数据检测陈怡娜(陕西邮电职业技术学院,陕西 咸阳 )摘要:提出了基于深度学习的异常数据检测的方法,精准检测到无线传感器异常数据并直观展现检测结果.基于无线传感器网络模型分簇原理,通过异常数据驱动的簇内数据融合机制,去除无线传感器网络中的无效数据,获取无线传感器网络有效数据融合结果.构建了具有层隐含层的深度卷积神经网络,将预处理后的无线传感器网络数据作为模型输入,通过隐含层完成数据特征提取和映射后,由输出层输出异常数据检测结果.实验证明:该方法可有效融合不同类型数据,且网络节点平均能耗较低;包含层隐含层的深度卷积神经网络平均分类精度高达 ,次迭代后隐含层的训练损失均趋于,可实现无线传感器异常数据实时、直观、准确检测.关键词:深度学习;无线传感器;异常数据;数据融合;D C NN;分段处理中图分类号:T P 文献标识码:AA b n o r m a lD a t aD e t e c t i o no fW i r e l e s sS e n s o rB a s e do nD e e pL e a r n i n gA l g o r i t h mCHE NY i n a(S h a a n x iP o s t a n dT e l e c o mm u n i c a t i o nC o l l e g e,X i a n y a n g,S h a a n x i ,C h i n a)A b s t r a c t:T h ea b n o r m a l d a t ad e t e c t i o nm e t h o db a s e do nd e e p l e a r n i n g i sp r o p o s e d t oa c c u r a t e l yd e t e c t t h e a b n o r m a l d a t ao fw i r e l e s ss e n s o r sa n dv i s u a l l yd i s p l a yt h ed e t e c t i o nr e s u l t s B a s e do nt h ec l u s t e r i n gp r i n c i p l eo fw i r e l e s ss e n s o rn e t w o r k(WS N)m o d e l,t h e i n v a l i dd a t a i nWS Ni s r e m o v e dt h r o u g ht h ed a t a f u s i o nm e c h a n i s md r i v e nb ya b n o r m a l d a t a,a n d t h ee f f e c t i v ed a t a f u s i o nr e s u l t so fWS Na r eo b t a i n e d Ad e e pc o n v o l u t i o n a l n e u r a l n e t w o r kw i t h f o u rh i d d e n l a y e r s i s c o n s t r u c t e d,a n dt h ep r e p r o c e s s e dw i r e l e s ss e n s o rn e t w o r kd a t a i su s e da s t h em o d e l i n p u t A f t e rd a t a f e a t u r ee x t r a c t i o na n dm a p p i n ga r ec o m p l e t e dt h r o u g ht h eh i d d e nl a y e r,a b n o r m a ld a t ad e t e c t i o nr e s u l t sa r eo u t p u tb yt h eo u t p u t l a y e r E x p e r i m e n t a lr e s u l t ss h o wt h a t t h i sm e t h o dc a ne f f e c t i v e l yf u s ed i f f e r e n t t y p e so fd a t a,a n dt h ea v e r a g ee n e r g yc o n s u m p t i o no fn e t w o r kn o d e s i sl o w T h ed e e pc o n v o l u t i o n a ln e u r a l n e t w o r kw i t hf o u rh i d d e n l a y e r sh a sa na v e r a g ec l a s s i f i c a t i o na c c u r a c yo f ,a n dt h et r a i n i n g l o s so f h i d d e n l a y e r s t e n d s t oa f t e r i t e r a t i o n s,w h i c hc a nr e a l i z e r e a l t i m e,i n t u i t i v e a n da c c u r a t ed e t e c t i o no fw i r e l e s ss e n s o ra b n o r m a l d a t a K e yw o r d s:d e e p l e a r n i n g;w i r e l e s ss e n s o r;a b n o r m a l d a t a;d a t a f u s i o n;D C NN;s u b s e c t i o np r o c e s s i n g近年来,网络科技发展迅猛,尤其是无线传感器网络正快速地渗透到各个行业,如航空航天、气象监测、自动化生产等,但在实际运行中受到资源限制、监测环境等因素的影响,会产生异常数据,这些数据会影响到整体网络输出的结果,因此对于网络中异常数据的检测是尤为重要的,.第 卷第期陈怡娜:基于深度学习算法的无线传感器异常数据检测国内外诸多学者关于网络异常数据检测的问题展开了大量研究,并取得了一些有价值的研究成果,如丁建立等人通过s e q s e q模型对被检测的数据实行重建操作,通过重建误差来判断数据是否异常;卢光跃等人提出通过近邻图信号模型获取图信号,再计算该图信号的平滑度比率,以此获取一个检测量,利用检测量和判决门限来评估是否为异常数据.上述两种方法虽然对网络中的异常数据起到了检测作用,但是第一种方法在检测精度上略有逊色,第二种方法则忽视了网络能量消耗的问题.为了提升无线传感器异常数据检测精度,减少网络能量消耗,提出了基于深度学习算法的无线传感器异常数据检测方法.深度卷积神经网络(D C NN网络)作为一种深度学习算法,其在异常数据检测中具备收敛速度快、分类精度高优势,因此,利用具备层隐含层的D C NN网络对融合及分段处理后的无线传感器数据进行分类识别,可使无线传感器异常数据的检测更为精确、快速且节能.基于深度学习算法的无线传感器异常数据检测 无线传感器网络模型网络规模大、节点数量过多是无限传感器网络(WS N)的特点,如果运用平面组织的模式,就会造成整个网络不能正常运行,原因是平面组织模式会使位于汇聚节点附近的中继节点能量快速地消耗掉.为了解决这个问题,可以把网络进行分割,形成几个不同的区域,这就需要利用分簇的方式来完成,即无限传感器中一定数量且位置相近的节点组成一个簇,一个簇就是一个监测区域,每簇内部有两种类型的节点,一类是监督网络的状况和相关事项的普通节点,另一类是收集并融合来自本簇内部普通节点输送过来的数据信息,并将得出的结果传递给簇外汇聚节点的簇头节点.另外,簇头还要保 证本簇内网 络的一致以 及其他维护 工作.WS N的分簇结构如图所示.以上述分簇为基础,本文设定监控范围中的网络节点任意分布,同时无限传感器网络具有如下特点:()布置后的传感器网络节点不能挪动;()汇聚节点设定在监控范围外规定的地方,且该节点只有一个;()提供簇内每个节点电力的方式是电池供电,原始的能量相等,不可相互供给,且功率受限;汇聚节点有足够的能力来完成繁杂的计算和连接外部网络;()簇内各个成员仅和簇头进行信息传递,簇与簇互不干扰;()节点可得到处于本身位置的相关信息;()簇内每个节点结构相同,位置相近.图WS N分簇结构图 无线传感器网络簇内数据融合所谓簇内数据融合就是在监控范围中,首先对每个节点实行分簇操作,各簇内部的普通节点把信息传递给簇头节点,簇头节点要针对这些数据信息进行融合操作并得出结果,再转发该结果至汇聚节点.对于每个簇头传递来的信息,汇聚节点能再次实行信息和融合,即决策级别的信息融合.簇头节点进行数据融合的模型如图所示.图数据融合模型数据驱动思想方法,可以给决策提供很大的帮助,因为其适应性很强,不论是传感器动态数据的改变,还是运算需求的改变,它都可以适应.关于簇内数据融合,簇头运用的融合方案是依据异常数据驱动形成的融合方案,这样可以节约能量及数据传递的数量.各项数据正常的情况下,簇头只输送计算技术与自动化 年月分簇网络和成员节点本身的相关信息即可,这时分簇网络为收敛状态;数据异常的情况下,表示发生了外部事件(包括用户发起查阅需求),簇头节点的数据融合处理机制就会被驱动,这时分簇网络为兴奋状态.第i个传感器与第j个传感器所得数据区间的支持度可以描述为:ri jKe x p(uiuj)()式中,传感器节点i和j获取的数据分别为ui、uj;管理支持度函数幅度的参数、支持度衰减因子分别为K和;e x p为指数函数.传感器节点i获取的数据ui的综合支持度为sinjri j()式中,n为传感器节点数量.其他传感器对于数据ui的综合支持程度可通过si反映出来,si值越大,簇头接收数据ui是有效数据的概率越大.设定代表判断数据是否有效的临界值.当si时,数据ui有效.当某个传感器的综合支持度小于临界值时,该传感器所获得的数据是无效的,会在进行数据融合操作时去除这些数据.去除无效数据后,簇头对接收到簇内各成员节点传递来的有效数据实行数据融合操作.有效数据ui的重要性权重为:visimksk()式中,vi代表WS N网络融合过程有效数据ui的权重,且位置属于i;有效数据量为m,且m不能大于簇内成员节点的个数;第k个有效数据的综合支持度为sk,km.簇内的融合数据为:xmiviui()对于无限传感器网络的分簇网络,用T来代表成员节点收集数据的周期,这个周期由簇头管理和同步,其他每个成员节点收集数据的时间要一致.另外,该周期设置要小一些,这样在收集数据和运算方面能量消耗会比较小,也不会漏掉每一个重要事件.根据式()、式()实行的融合运算操作,可以判断每项测算数据的有效性.设定监控范围内没有重要事件产生,而某一分簇内其他节点都是正常状态,只有一个节点出现了异常,那么会导致它收集到的数据出现不稳定的情况.从而导致在各个收集周期里这个异常节点都会把不稳定的数据信息传递给簇头,进而引发簇头的数据融合操作.即使传递过来的无效数据会被去除,但是各个周期正常节点的数据也都被进行了融合操作,以至于使节点能量消耗过快,网络带宽也被浪费.运用简单多数原则判断簇头是否启用数据融合操作,可以避免少量异常节点屡次传递非正常数据造成的能量与带宽资源的浪费.设定用来代表簇头节点受刺激强度的临界值,n代 表 本 簇 内 部 普 通 节 点 的 数 量,设是 n.l代表异常节点的数量,且这个异常现象出现在单个收集周期内,如果异常节点的数量占比较大,此时l,簇头节点就会被这些异常数据强烈地刺激到,从而进入兴奋状态,就会对数据实行融合操作,反之则对该周期内收集的数据进行忽视,不进行任何操作.同一数据收集周期中,每一个节点都有着不同的性能与活动特点.设定状态参变量h T a g(簇头兴奋标志位).h T a g位于簇头节点,用于判断簇头的状态.初始值是,分簇网络为收敛状态,不会引发簇头进行数据融合操作,也就是说,大于异常节点数量.当小于或等于异常节点数量时,簇头受异常数据的刺激就会足够大,此时设h T a g,分簇网络为兴奋状态,异常数据会引发簇头的数据融合操作,再将融合后的结果传递给汇聚节点,之后簇头会把h T a g重新设置成.基于D C N N模型的无线传感器异常数据检测 D C NN模型输入数据预处理因为有大量的数据存在于无线传感器网络中,所以算法的时效性在很大程度上受获取异常数据范围的影响,合理的获取范围才能保证算法的时效性,因此需要运用有关的计算才能实现鉴别异常数据的目的.但是如对全部的数据都实行遍历对比,那么运算量会相当大,算法的效率也会大大降低,这时就需要运用深度学习的方法来提取无线传感器网络的异常数据特征,去除无效的数据信息,实现数据降维.为了确保无线传感器网络的异常数据信息正常获取,运算数量能变少,就需要采用相应的方式来实现.首先是大量无线传感器网络的数据要被分段处理,分段后的数据可以分为个等级,最大级别用级代表,最小级别用级代表,并加权处理敏感区域,也就是数据波动较大的地方,从而实现无线传感器网络数据获取侧重的偏向分析,这一过程需要运用组合和量化的方式来操作.把处于分段数据中全部数据节点与异常情况的数据特征实行有关运算,如有关参变量小于阈值,则剔除相关数据节点,剩下的便是有效数据,这第 卷第期陈怡娜:基于深度学习算法的无线传感器异常数据检测些有效数据就可组成数据集.之后,对数据集获取的数据节点特征进行运算,可得到相应的特征邻域,这样网络数据集合就可通过数据集和特征集的归并而获取,网络异常参变量就是它的数据节点.另外,正常数据和异常数据存在于数据集合里,必然会有相交的边界点,这个边界点称作焦点.数据运用非线性离散的方式进行分段,分段点描述为:XEXEXEXEXEXEXEXEXEXEn()式中,焦点、分段数、聚焦因子分别为X、n、E,且E(,).这样无线传感器网络中的数据被离散为(n)份.之后,把全部经过非线性离散后的无线传感器网络数据集进行统一单边取值操作,设定最优值是,从而在无线传感器异常数据检测的准确性上有大幅提升.异常数据检测的D C NN网络模型如图所示,特征提取与分类是C NN网络模型的构成部分.个卷积层和个池化层构成了层的隐含层,也就是进行特征提取的层级,分类部分的分类器是S o f t M a x.图卷积神经网络结构图基于深度卷积神经网络模型的异常数据分类过程见下面的表述.()输入层.数据的导入在输入层中完成.设定 小 节 预 处 理 后 的 无 线 传 感 器 数 据 为Sj,且j,N,并将其导入到深度卷积神经网络.()隐含层.深度卷积神经网络特征的提取和映射的最主要部分就是隐含层,在隐含层中的卷积运算和池化计算也极其重要 .卷积运算是两个函数之间和对另一个函数的数学算子,可表示为f()g(),它是将函数f()、g()进行翻转和平移之后相交区域的面积.f()、g()分别代表输入信号sj和卷积核.公式可以描述为:g(x)ex()式中,用于掌握函数e径向作用区域的宽度参数用来描述,且取值为.特征向量通过卷积层得出后,如果尺寸较大,那么就会导致接下来的运算变得较为复杂,缩小特征向量的尺寸是十分必要的,但在缩小尺寸的同时,与其相关的主要特征不能被去除.池化有最大池化和平均池化两种类型.最大池化是本文运用的方法,首先是最大值的取得,即通过在池化采样窗口长度上取值,然后下采样特征图,从而存留最有用的信息特征.C 层:假设位于C 层的卷积核数量为n,用Kj且j,n代表卷积核,c代表Kj的大小.当n、c的取值分别为 和 时,就是把来源于输入层的数据,通过卷积核Kj(j,)进行卷积,这个卷积核的数量为,大小为.卷积后得到的特征向量数量为,大小为 ,该特征向量表示为Xj(j,),运行过程描述为:Xj R e L UC(sj,Kj)bj()式中,C 层卷积偏置、卷积函数、激活函数分别为bj、C()和R e L U.P 层:位于该层的池化窗口的规格用步长和大小来描述,并分别用s和p来表示.设置s和p的取值分别为和 时,就是把来源于C 层的特征向量Xj在规格为和 的采样窗口中进行下采样,从而获取该层的特征向量,其数量为,尺寸为,该特征向量表示为Xj(j,),运行过程描述为:Xj R e L Ujd(Xj)b()式中,P 层共享权值、偏置、下采样函数分别为j、bj和d().C 层:假设位于C 层的卷积核数量为n,用Kj i且j,n,i,n代表卷积核,c代表Kj i的大小.当n、c的取值分别为 和 时,就是利用数量为,大小为 的卷积核Kj i(j,i,)卷积来源于P 层的特征向量Xj,卷积后得到的特征向量数量为 ,大小为,该特征向量表示为Xj(j,),运行过程描述为:Xj R e L U iC(Xj,Kj i)bj()计算技术与自动化 年月式中,bj表示C 层卷积偏置.P 层:位于该层的池化窗口的规格用s和p来描述,即窗口步长和大小.设置s和p的取值分别为和 时,就是把来源于C 层的特征向量Xj在规格为和 的采样窗口中进行下采样,从而获取该层的特征向量,其数量为 ,尺寸为,该特征向量表示为Xj(j,),运行过程描述为:Xj R e L U jd(Xj)bj()式中,j和bj分别表示P 层共享权值、偏置.随后是光栅化操作,使Xj成为全连接层的输入,前提是要使之成为一个长向量.F 层:存在于F 层的ML P(多层感知器),作用是映射一组输入向量到一组输出向量.它属于人工神经网络,结构是前馈型.设定层ML P由输入层、隐含层和输出层组成,且数量均为,它的输入是经过光栅化的特征向量Xj,该特征向量传递到隐含层后,会进行映射处理,公式可以描述为:Xjt a n h jXjejbj()式中,F 层共享权重、偏置和激活函数分别为ej、bj和t a n h().()输出层.逻辑回归是在输出层进行的,且基于S o f t M a x分类器来实现,再将其得出的信息划分为正常数据和异常数据种类型,设定正常数据为类型,异常数据为类型,得出的信息属于类型或者类型的概率用Pa(a,)表示,D C NN分类结果采用概率大的类型,公式表示为:Pas o f t m a x(Xj),a,()输出层获取输入无线传感器网络数据隶属于不同类别的概率.代价函数选用的是交叉熵,为:Dyal o gpa()式中,ya、pa分别为标签类型、实际的输出.最合理的权重参变量的获取,前提是要使偏差最小,这就可以使用自适应学习率优化算法在反向传播训练中来实现,从而构建优质的无线传感器异常数据分类模型.实验结果与分析以某地区A物业小区为实验对象,该小区用地面积约 万m、住户约 户.为了检验本文方法的数据融合效果,实验任意部署了多个无线传感器节点对该小区所有住户某月用电量、用水量和煤气用量的变化进行了监测.统计监测数据共 M,其中训练集数据划分为 M,剩余数据作为测试集数据.根据本文所提出的数据融合方法,对节点获取的物业数据进行融合操作,得到的 次数据融合结果如图所示.由图可知,利用本文方法获取的用电量、用水量和煤气用量数据的融合结果没有较大的波动,误差较小,精准度高.这是因为本文所提的数据融合方法,首先会对传递来的异常数据判断其是否有效,判定为无效的数据会被直接去除,不参与数据融合的过程,这样就会对数据融合的效果起到优化作用,进而证明本文方法的效果好.图不同类别数据融合结果将文献 方法、文献 方法作为对比方法,三种方法簇内节点平均能耗的变化情况如图所示.节点能耗与运行时间呈负相关,因为运行时间越长,出现异常数据的概率越大,网络节点的能耗就越大.由图可知,相同运行时间内,与其他方法相比,本文方法的网络节点能量的消耗较低.这是因为本文方法的数据融合策略是利用异常数据引发簇头状态变化,促使网络进入兴奋状态,簇头通过数据融合操作将结果传递给下一节点,在这个过程中降低了网络节点能量的消耗.为了验证本文方法应用的层隐含层的D C NN分类识别优势,实验设定输入长度、全连接层得到的特征维数和迭代次数分别为 、和 ,得出各个隐含层的分类精度和训练损失,如表、表所示.由表可知,具有层隐含层结构的D C NN网络模型,当迭代次数为 次时,各个隐含层的分类精度都在 以上,且C 层表现最好,达 ,P 层次之,为 ;当迭代次数为 次时,P 层居上,分类精度为 ,且各层也均在 以上;当迭代次数为 次与第 卷第期陈怡娜:基于深度学习算法的无线传感器异常数据检测 次之间时,各层平均分类精度为 ,P 层更是在迭代 次时,分类精度高达 .由此说明,D C NN网络模型中隐含层设为层时,有着较强的分类能力.由表可知,该网络模型经过 次迭代之后,各个隐含层的训练损失都迅速地贴近,C 层表现最佳,当迭代到 次时,训练损失仅为 ,进而说明了过拟合现象没有出现在该网络的运行中.图不同方法的网络节点平均能耗对比表各个隐含层结构下D C N N的分类精度比较迭代次数C 层P 层C 层P 层 表各个隐含层结构下D C N N的训练损失比较迭代次数C 层P 层C 层P 层 结论对于WS N网络环境中,监测区域中突发的异常状况形成的数据,对整个检测结果产生的负面影响,提出了一种基于深度学习的算法来检测无线传感器异常数据.该方法首先对初始数据进行数据融合操作,形成有效数据集,再对数据进行分段处理,然后将分段处理后的数据输入到具有层隐含层结构的D C NN网络模型中,以此达到对异常数据检测的目的.通过实验证明了该方法在各项实验中表现都很优秀,是一种性能较好的无线传感器异常数据检测方法.参考文献侯明星,亓慧,黄斌科基于分布式压缩感知的无线传感器网络异常数据处理J计算机科学,():曹轲,谭冲,刘洪,等基于改进灰狼算法优化B P神经网络的无线传感器网络数据融合算法J中国科学院大学学报,():邓丽,刘庆连,邬群勇,等基于数据流时空特征的WS N异常检测及异常类型识别J传感技术学报,():唐海贤,李光辉基于C L S TM的传感器数据流半监督在线异常检测算法J传感技术学报,():张娇阳,孙黎基于深度学习的网络异常检测和智能流量预测方法J无线电通信技术,():丁建立,邹云开,王静,等基于深度学习的A D S B异常数据检测模型J航空学报,():卢光跃,周亮,吕少卿,等基于图信号处理的无线传感器网络异常节点检测算法J计算机应用,():郭国栋,龚雁峰,吴迪,等引入H o l o L e n s进行信息融合与数据挖掘的新型巡检方式及体验J中国电力,():田明明,叶继华,王仕民,等一种复杂环境下多传感器数据融合方法J山东大学学报(工学版),():刘云朋,霍晓丽,刘智超基于深度学习的光纤网络异常数据检测算法J红外与激光工程,():匡俊搴,赵畅,杨柳,等一种基于深度学习的异常数据清洗算法J电子与信息学报,():董书琴,张斌基于深度特征学习的网络流量异常检测方法J电子与信息学报,():尚文利,石贺,赵剑明,等基于S A E L S TM的工艺数据异常检测方法J电子学报,():