第四章2-常用故障诊断算法(人工神经网络)doc资料.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,在线监测与故障诊断,Online Monitoring and Fault Diagnosis,倪建军 博士,河海大学常州校区,第四章 常用故障诊断算法,The algorithms of fault diagnosis,本章主要内容及重要知识点,主要内容：,专家系统,人工神经网络,支持向量机,模糊推理,故障树,本章重点：,各类故障诊断算法的原理及仿真。,4.2,人工神经网络,在广义上，神经网络可以泛指生物神经网络，也可以指人工神经网络。,所谓人工神经网络（,Artificial Neural Network,）是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。,人脑是,ANN,的原型，,ANN,是对人脑神经系统的模拟。在人工智能领域中，在不引起混淆的情况下，神经网络一般都指的是,ANN,。,4.1.1,人工神经网络研究的进展,萌芽期（,20,世纪,40,年代）,1943,年，心理学家,McCulloch,和数学家,Pitts,建立起了著名的阈值加权和模型，简称为,M-P,模型。发表于数学生物物理学会刊,Bulletin of Methematical Biophysics,。,1949,年，心理学家,D.O.Hebb,提出神经元之间突触联系是可变的假说,Hebb,学习律。,第一高潮期（,19501968,）,以,Marvin Minsky,，,Frank Rosenblatt,，,Bernard Widrow,等为代表人物，代表作是单级感知器（,Perceptron,）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,反思期（,19691982,）,“异或”运算不可表示。,二十世纪,70,年代和,80,年代早期的研究结果。,认识规律：认识,实践,再认识,4.1.1,人工神经网络研究的进展（,2,）,第二高潮期（,19831990,）,1,）,1982,年，,J.Hopfield,提出循环网络。,用,Lyapunov,函数作为网络性能判定的能量函数，建立,ANN,稳定性的判别依据,阐明了,ANN,与动力学的关系,用非线性动力学的方法来研究,ANN,的特性,指出信息被存放在网络中神经元的联接上,2,）,1984,年，,J.Hopfield,设计研制了后来被人们称为,Hopfield,网的电路。较好地解决了著名的,TSP,问题，找到了最佳解的近似解，引起了较大的轰动。,3,）,1985,年，,UCSD,的,Hinton,、,Sejnowsky,、,Rumelhart,等人所在的并行分布处理（,PDP,）小组的研究者在,Hopfield,网络中引入了随机机制，提出所谓的,Boltzmann,机。,4,）,1986,年，并行分布处理小组的,Rumelhart,等研究者重新独立地提出多层网络的学习算法,BP,算法，较好地解决了多层网络的学习问题。（,Paker1982,和,Werbos1974,年）。,国内首届神经网络大会是,1990,年,12,月在北京举行的。,再认识与应用（,1991,）,存在问题：,应用面还不够宽,结果不够精确,存在可信度的问题,对策：,开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。,充分发挥两种技术各自的优势是一个有效方法。,希望在理论上寻找新的突破，建立新的专用,/,通用模型和算法。,进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,4.1.1,人工神经网络研究的进展（,3,）,人工神经网络的特点,具有大规模并行协同处理能力。,每一个神经元的功能和结构都很简单，但是由大量神经元构成的整体却具有很强的处理能力。,具有较强的容错能力和联想能力。,单个神经元或者连接对网络整体功能的影响都比较微小。,在神经网络中，信息的存储与处理是合二为一的。信息的分布存储提供容错功能,由于信息被分布存放在几乎整个网络中。所以当其中的某一个点或者某几个点被破坏时信息仍然可以被存取。,具有较强的学习能力。,神经网络的学习可分为有教师学习与无教师学习两类。,由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。具有很强的普化（,Generalization,）能力与抽象能力。,是大规模自组织、自适应的非线性动力系统。,具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、不可逆性、广泛连接性和自适应性等等。,物理符号系统和人工神经网络系统的差别,项目,物理符号系统,人工神经网络,处理方式,逻辑运算,模拟运算,执行方式,串行,并行,动作,离散,连续,存储,局部集中,全局分布,4.1.2,人工神经网的结构,1,、神经元及其特性,神经网络的结构是由基本处理单元及其互连方法决定的。,如图所示，神经元单元由多个输入,x,i,，,i,=1,2,.,n,和一个输出,y,组成。中间状态由输入信号的权和表示，而输出为：,w,jn,w,j1,：,：,y,j,j,x,1,x,n,f,(_),式中，,j,为神经元单元的偏置（阈值），,w,ji,为连接权系数（对于激发状态，取正值，对于抑制状态，取负值），,n,为输入信号数目，,y,j,为神经元输出，,t,为时间，,f(,),为输出变换函数。,函数,f,(_),表达了神经元的输入输出特性。,往往采用,0,和,1,二值函数或,形函数。,一种二值函数可由下式表示：,其图像如图所示。,如果把阈值,i,看作为一个特殊的权值，则可改写为,:,其中，,w,0i,-,i,，,x,0,1,为用连续型的函数表达神经元的非线性变换能力，常采用,s,型函数，如下图所示。,其中，第一个函数为常规的,s,型函数，其输出均为正值；第二个函数为双曲正切函数，其输出值可为正或负。,2,、人工神经网络的基本特性和结构,人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：,(1),对于每个节点,i,存在一个状态变量；,(2),从节点,j,至节点,i,，存在一个连接权系统数；,(3),对于每个节点,i,，存在一个阈值,i,；,(4),对于每个节点,i,，定义一个变换函数,f,i,；,对于最一般的情况，此函数的形式为：,人工神经网络的结构基本上分为两类：递归（反馈）网络和前馈网络。,（）递归网络,在递归网络中，多个神经元互连以组织一个互连神经网络，如图所示。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。,Hopfield,网络，,Elmman,网络和,Jordan,网络是递归网络有代表性的例子。递归网络又叫做反馈网络。,图中，实线指明实际信号流通而虚线表示反向传播。前馈网络例子有多层感知器,(MLP),、学习矢量量化,(LVQ),网络、小脑模型联接控制,(CMAC),网络和数据处理方法,(GMDH),网络等。,（,2,）前馈网络,前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图所示。,3,、人工神经网络的主要学习算法,神经网络主要通过指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。,（,1,）有师学习,有师学习算法能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括,Delta,规则、广义,Delta,规则或反向传播算法以及,LVQ,算法等。,（）无师学习,无师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无师学习算法的例子包括,Kohonen,算法和,Carpenter-Grossberg,自适应谐振理论（,ART),等。,（）强化学习,如前所述，强化（增强）学习是有师学习的特例。它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（,GA,）。,4.1.3,人工神经网的典型模型及其算法,迄今为止，已经开发和应用了,30,多种人工神经网络模型。在这里，我们对一些典型网络模型及其算法进行介绍。,1,、反向传播,(BP),模型,2,、,Hopfield,网络（自学）,3,、自适应共振理论,(ART),模型（自学）,1,、反向传播,(BP),模型,网络拓扑结构,输入层,隐藏层,输出层,输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定了网络拓扑,增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。,BP,网一般都选用二级（,3,层）网络。因为可以证明如果,BP,网络中隐层单元可以根据需要自由设定，那么,一个三层网络可以实现以任意精度近似任意连续函数。,网络的构成,神经元的网络输入：,net,i,=,x,1,w,1i,+,x,2,w,2i,+,x,n,w,n,i,神经元的输出（,s,型函数）：,O=f(net)=,1,/,(1,+exp,(,-net,),f(net)=exp(-net)/(,1,+exp(-net),2,=O-O,2,=O(,1,-O),BP,算法基本思想,样本集：,S,=(X,1,Y,1,),(X,2,Y,2,),(X,s,Y,s,),逐一根据样本集中的样本,(,X,k,Y,k,),计算出实际输出,O,k,及其误差,E,1,，然后对各层神经元的权值,W,(1),，,W,(2),，,，,W,(L),各做一次调整，重复这个循环，直到,E,p,（所有样本的误差之和）。,用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程。,BP,算法训练过程概述,样本：,(,输入向量，理想输出向量,),权初始化：“小随机数”与饱和状态；“不同”的权值保证网络可以学。,1,、向前传播阶段：,（,1,）从样本集中取一个样本,(X,p,，,Y,p,),，将,X,p,输入网络；,（,2,）计算相应的实际输出,O,p,：,O,p,=F,L,(F,2,(F,1,(X,p,W,(1),)W,(2),)W,(L),),2,、向后传播阶段,误差传播阶段：,（,1,）计算实际输出,O,p,与相应的理想输出,Y,p,的差；,（,2,）按极小化误差的方式调整权矩阵。,（,3,）网络关于第,p,个样本的误差测度：,（,4,）网络关于整个样本集的误差测度：,输出层权的调整,其中，是学习因子。,BP,算法应用的不是基本的,学习，而是一种扩展的,学习规则。但是对于所有的,学习规则而言，某神经元的权值修正量都正比于该神经元的输出误差和输入。,BP,算法输出层对误差调整为,f,(,net,)(,y-o,),。,AN,p,AN,q,w,pq,w,pq,第,L-1,层,第,L,层,隐藏层权的调整,AN,h,AN,p,AN,q,AN,m,AN,1,w,hp,pk-1,w,pq,qk,1k,w,p1,w,pm,qm,第,k-2,层,第,k-1,层,第,k,层,隐藏层权的调整,pk-1,的值和,1k,，,2k,，,，,mk,有关。不妨认为,pk-1,：,通过权,w,p1,对,1k,做出贡献，,通过权,w,p2,对,2k,做出贡献，,通过权,w,pm,对,mk,做出贡献。,BP,算法中学习规则的理论推导,该算法中,学习规则的实质是利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。,误差测度方法：,用理想输出与实际输出的方差作为相应的误差测度：,最速下降法,(1),最速下降法，要求,E,的极小点，取,E,w,ij,E,w,ij,最速下降法,(2),其中，为学习率。,输出层,若,AN,j,为一个输出层神经元，则有：,O,j,=f(net,j,),容易得到：,故输出层按下列公式修改权值：,隐藏层,(1),由于,O,j,对于,E,的作用是通过下一层的各节点的输入,/,输出体现的，所以可应用连锁法来计算：,O,1,AN,H1,O,H1,AN,j,O,j,AN,Hn,O,Hn,AN,1,net,1,AN,k,O,k,net,k,AN,n,O,n,net,n,w,ij,AN,i,O,i,隐藏层,隐藏层,(2),隐藏层,(3),故隐藏层按下列公式修改权值：,BP,算法中的几个问题,(1),收敛速度问题,收敛速度很慢，其训练需要很多步迭代。,局部极小点问题,逃离,/,避开局部极小点：修改,W,的初值并不是总有效。,逃离,统计方法；,Wasserman,，,1986,将,Cauchy,训练与,BP,算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。,网络瘫痪问题,在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛。,BP,算法中的几个问题,(2),稳定性问题,用修改量的综合实施权的修改,连续变化的环境，它将变成无效的,步长问题,BP,网络的收敛是基于无穷小的权修改量,步长太小，收敛就非常慢,步长太大，可能会导致网络的瘫痪和不稳定,自适应步长，使得权修改量能随着网络的训练而不断变化。,1988,年，,Wasserman,网络隐层中神经元数目及层数的选取尚无理论直到，一般凭借经验选取。,2,、,Hopfield,网络,前面我们讨论了,BP,网络。,BP,网络是一类典型的前馈网络。其它前馈网络有感知器,(Perception),、自适应线性网络和交替投影网络等。前馈网络是一种具有很强学习能力的系统，结构比较简单，且易于编程。前馈网络通过简单非线性单元的复合映射而获得较强的非线性处理能力，实现静态非线性映射。不过，前馈网络缺乏动态处理能力，因而计算能力不够强。,还有一类人工神经网络，即反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的计算能力。反向网络可用一个完备的无向图表示。本节将以霍普菲尔德,(Hopfield),网络为例，研究反馈神经网络的模型算法和学习示例。,4.1.4,人工神经网络在故障诊断中的应用,1,、基于,B P,网络的凝汽器故障诊断,凝汽器：,将汽轮机排汽冷凝成水的一种,换热器,，又称复水器。凝汽器主要用于,汽轮机,动力装置中，分为水冷凝汽器和空冷凝汽器两种。凝汽器除将汽轮机的排汽冷凝成水供锅炉重新使用外，还能在汽轮机排汽处建立真空和维持真空。,2,、,BP,人工神经网络在铅酸蓄电池故障诊断中的应用,铅酸蓄电池是由正负板组、隔板、电解液、外壳等部分组成的，它是在盛由稀硫酸的容器中插入两组铅制极板而构成的电能储存器。,铅酸蓄电池系统故障诊断的,BP,网络的建立,Matlab程序如下：,P=1 0 0 0;0 1 0 0;0 0 1 0;0 0 0 1;,T=1 0 0 0;1 0 0 0;1 0 0 0;0 1 0 0;0 1 0 0;0 1 0 0;0 0 1 0;0 0 1 0;0 0 0 1;0 0 0 1;0 0 0 1;0 0 0,1;0 0 0 1;0 0 0 1;,net=newff(minmax(P),28,14,tansig,purelin,traingda);,net.trainParam.show=200;,net.trainParam.lr=0.05;,net.trainParam.epochs=5000;,net.trainParam.goal=1e-4;,net,tr=train(net,P,T),当训练结束后，网络达到收敛，即：,TRAINGDA-calcgrad,Epoch 0/5000,MSE 7.75176/0.0001,Gradient 3.96268/1e-006,TRAINGDA-calcgrad,Epoch 42/5000,MSE 8.83964e-005/0.0001,Gradient 0.0107489/1e-006,TRAINGDA,Performance goal met.,最后将非训练样本进行测试，,y=sim(net,P),The End,谢 谢!,