第四章--神经网络技术及其在故障诊断中的应用(课堂PPT).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 神经网络技术及其在故障诊断中的应用,神经网络基础,典型结构的神经网络,改进型,BP,算法及其在故障诊断中的应用,1,一、神经网络基础,神经网络的发展及特点,神经网络就是用物理上可以实现的器件、系统或现有的计算机来模拟人脑的结构和功能的人工系统。,它由大量简单神经元经广泛互联构成一种计算结构，在某种程度上可以模拟人脑生物神经系统的工作过程。,2,1,、神经网络的发展,神经网络的发展可以追溯到一个世纪之前。一般将这一百多年的历史分为三个阶段。,自,1890,年至,1969,年为,初始发展期,；,1969,年至,1986,年为发展的,过渡时期,；,自,1986,年以来，步入了发展的,高潮期,。,3,初始发展期,1890,年，美国生理学家,W.James,出版了,生理学,一书，首次阐明了人脑的结构及其功能，以及一些学习、联想、记忆的基本规则。,1943,年，,W.C.McCulloch,和,W.Pitts,根据已知的神经细胞生物基础，描述了一个简单的人工神经元模型，即后来的“,M,P,模型”。,4,1949,年,D.O.Hebb,发表了论著,行为自组织,，提出了很多有价值的观点。,Hebb,同时提出了网络学习的规则，从而使神经网络具有了可塑性。,1958,年，,F.Rosenblatt,提出了“感知器（,perception,）”模型，用于模拟一个生物视觉模型。这是第一个真正的神经网络。,5,过渡时期,1969,年，,M.Minsky,和,S.Paper,经过对“感知器”模型的深入研究，发表了论著,感知器,，分析了一些简单的单层感知器，说明这些单层的感知器只能解决线性分类问题，对于非线性或其他的分类则会遇到很大困难。,这个观点使得许多专家放弃了对神经网络的研究。,但在这个阶段，也还有一些研究人员在继续进行探索。,6,1982,年，物理学家,J.J.Hopfield,提出了全连接神经网络，后来被称为,Hopfield,神经网络，在网络的理论分析和综合上达到了相当的深度。,虽然早期的,Hopfield,网络存在一些问题，如，网络的权值固定、不能学习、大规模的网络实现困难，而且无法克服局部极小点问题等等，但,Hopfield,的研究为神经网络带来了复兴的希望，极大地推动了神经网络的发展。,7,这个时期，由,D.E.Rumelhart,等多人组成的并行分布处理研究小组提出了误差反向传播神经网络，即,BP,网络。这是一种按照一定的输入输出关系进行自组织的神经网络。,同时他们还明确揭示了神经网络的三个主要属性，即网络模型的结构、神经元的输入输出变换函数及算法，对神经网络在各领域的推广应用起了很大的作用。,BP,网络目前已成为一种应用最为广泛的神经网络。,8,1987,年，在美国圣地亚哥召开了第一届国际神经网络会议，此后国际神经网络协会成立。,从此，神经网络技术的研究呈现出蓬勃活跃的局面，理论研究不断深入，各种类型的网络模型和算法纷纷出现，应用范围不断扩大。,发展高潮期,9,1994,年，在美国奥兰多首次召开,IEEE,全球计算智能大会，此次会议将模糊算法、神经网络和遗传算法三个领域综合起来，有力地促进了不同研究领域之间的交叉渗透和共同发展。,10,2,、神经网络的特点,神经网络具有以下四个基本特点：,（,1,）广泛连接的巨型系统。,脑科学已经证明人脑是由数量及其庞大的脑细胞组成的，每个细胞之间又有着及其广泛复杂的相互连接。,人工神经网络着眼于模拟人脑，虽然目前还无法实现和人脑一样庞大的结构体系，但从本质上说，它是一个广泛连接的巨型系统。,11,（,2,）分布式存储信息。,神经网络系统中，信息是以某种形式分布在广大神经元及其相互连接中的。,（,3,）并行处理功能。,研究表明，神经元之间的信息传递是毫秒级的，比电子开关的速度慢得多；而实际上人在瞬间就能完成一幅图像的辨识。,由此可以推断，人脑对信息的处理是并行式的。,12,（,4,）自学习、自组织和自适应功能。,学习功能是神经网络的一个重要特征，正是因为神经网络具有自学习能力，才使得它在应用中表现出强大的自组织和自适应能力。,13,神经网络技术的出现，为故障诊断问题提供了一种新的解决途径。,特别是对复杂系统，由于基于解析模型的故障诊断方法面临难以建立系统模型的实际困难，基于知识的故障诊断方法成了重要的、也是实际可行的方法。,14,神经网络的基础,1,、神经元模型,神经网络的基本单元称为“神经元”，它是对生物神经元的简化和模拟。,15,生物神经元由,细胞体,、,树突,和,轴突,三部分组成。如下图所示。,树突,是细胞的,输入端,，通过细胞体之间连接的节点“,突触,”接受周围细胞传出的神经冲动；,轴突,相当于细胞的,输出端,，其端部的众多,神经末梢,为信号的输出端子，用于传出神经冲动。,图 生物神经元结构示意图,16,生物神经元具有两种工作状态：“兴奋”和“抑制”。,当传入的神经冲动使细胞膜电位升至高于其阈值时，细胞进入,兴奋状态,，产生神经冲动，由轴突输出；,反之，若传入的神经冲动使细胞膜电位下降至低于阈值时，细胞进入,抑制状态,，就没有神经冲动输出。,17,基于生物神经元的结构和工作特性，对生物神经元进行模拟，得到人工神经元。如下图所示。,图中，各变量的下标,i,表示神经网络中的第,i,个神经元。该神经元是一个多输入、单输出的非线性元件。,图 人工神经元模型示意图,18,人工神经元的输入输出关系可描述为：,其中，,x,j,（,j=1,n,）为来自其他神经元的输入信号；,i,为该神经元的阈值；,ij,表示从神经元,j,到神经元,i,的连接权值；,s,i,表示神经元的状态；,f(),为某种非线性函数，它将神经元的状态,s,i,变换成神经元的输出,y,i,，所以称为神经元的输出函数或者传递函数。,19,为了便于统一处理，上式可表示为：,式中：,i0,-,i,；,x,0,1,。,20,神经元模型中的传递函数,f(),可以有多种形式。,下面介绍几种常用的形式。,（,1,）阈值单元模型,或,其中，,u(x),表示单位阶跃函数。,阈值单元模型的特点是其传递函数为二值函数，神经元的输出为,0,，,1,或者,1,。,感知器、,M-P,模型以及最初的,Hopfield,模型中都采用这种类型的传递函数。,21,（,2,）限幅线性函数,其中，,a0,。,22,（,3,）,Sigmoid,型函数,常用的,Sigmoid,型函数有以下两种：,Sigmoid,型函数因其连续、可微的性质，得到了广泛的应用。在,BP,网络中就采用了这种类型的传递函数。,23,（,4,）高斯型函数,基本的高斯型函数如下：,在,RBF,（径向基函数）神经网络中采用了这种类型的传递函数。,24,2,、神经网络的拓扑结构,神经网络是由大量神经元相互连接而构成的网络。,根据连接方式的不同，神经网络的拓扑结构通常可分成两大类：,层状结构,和,网状结构,。,层状结构,的神经网络由若干层组成，其中一层为网络的,输入层,，另一层为网络的,输出层,，其余介于输入层和输出层之间的则为,隐含层,。,每一层都包括一定数量的神经元。在相邻层中神经元单向连接，而同一层内的神经元相互之间无连接关系。,根据层与层之间有无反馈连接，层状结构的神经网络可进一步分为“,前馈网络,”与“,反馈网络,”两种类型。,25,前馈网络,又称为前向网络，其特点是在前后相邻的两层之间神经元相互连接，在各神经元之间没有反馈。,每个神经元可以从前一层接收多个输入，并产生一个输出传递给下一层的各个神经元，信息只能从输入层开始逐层向前依次传递。,前馈网络可以包括许多层，但三层前馈网络即可满足实际应用的要求。,26,下图为三层前馈网络的结构图。,它包括三个单层的,输入层,、,隐含层,和,输出层,。,神经网络中有计算功能的节点称为,计算单元,，因此，前馈网络的隐含层和输出层节点属于计算单元。,图 三层前馈网络的结构图,27,反馈网络,在输出层和隐含层、或者隐含层和隐含层之间具有反馈连接，即相应的节点同时接收来自前面一层单元的输入和来自后面节点的反馈输入。,递归神经网络（,recurrent neural network-RNN,）是目前一种常用的反馈网络。,构成递归神经网络模型总的思路是通过对前馈网络中引入一些附加的内部反馈通道来增强网络的信息处理能力。,28,根据状态信息的反馈途径，可以构成两种基本的递归结构模型：,Jordan,型和,Elman,型，如下图所示。,（,a,）,Jordan,型,（,b,）,Elman,型,图 基本的,RNN,结构模型,29,网状结构的神经网络,又称为互联网络，其特点是任何两个神经元之间都可能存在双向的连接关系，所有的神经元既作为输入节点，同时又作为输出节点。,图 网状结构的神经网络,输入信号要在所有神经元之间反复传递，从某一初始状态开始，经过若干次变化，直到收敛于某一稳定状态或进入周期振荡等状态为止。,网状结构的神经网络如下图所示。,30,3,、神经网络的学习规则,神经网络卓越的信息处理能力来自于网络中各神经元之间的连接权值。要模拟人脑的信息处理能力，必须使神经网络具有学习功能。,学习的本质是调整各神经元之间的连接权值，而如何调整连接权值就构成了不同的学习算法。,31,神经网络的学习方法有两大类：,有导师学习,和,无导师学习,。,在,无导师学习,中，,没有直接的误差信息，需要建立一个间接的评价函数，以对网络的某种行为进行评价。,在,有导师学习方法,中，神经网络的输出与期望的输出（即教师值）相比较，然后根据两者之间的误差函数（又称为目标函数）来调整网络的权值，最终使误差函数达到最小值。,32,下面介绍几种常用的神经网络学习规则。,（,1,）,Hebbian,学习规则,Hebbian,学习规则来源于,Hebb,关于生物神经元学习过程的假设：,当两个神经元同时处于兴奋状态时，它们之间的连接应当加强。,33,令,ij,表示从神经元,j,到神经元,i,的连接权值，则,ij,按下式确定的变化量调整：,此式为有导师的,Hebbian,学习规则。,其中，,自变量,t,表示当前时间；,t,i,(t),为教师信号；,g(,，,),和,h(,，,),为适当的非线性函数。,34,当没有教师信号时，可以设,g(,，,),的函数值为,y,i,(t),，,h(,，,),的函数值正比于,y,j,(t),，因此，连接权值的变化量按下式调整：,上式为无导师的,Hebbian,学习规则。,其中，,0,表示学习速率的系数。,35,在有导师的,Hebbian,学习规则中，如果,g(,，,),的函数值正比于教师信号,t,i,(t),与神经元,i,的输出,y,i,(t),之间的差值，即,并且，,h(,，,),的函数值与神经元,j,的输出,y,j,(t),成正比，即,其中，,1,0,为系数。,其中，,2,0,为系数。,则由,Hebbian,学习规则可得：,上式即为,学习规则。式中，,0,表示学习速率的系数。,（,2,）,Delta,（,）学习规则,36,在,学习规则中，教师信号可看作为期望的输出，,式,中的,反映了神经网络期望输出和实际输出之间的差异。,学习规则的实质就是通过迭代计算逐步调整网络权值,ij,，直到使误差,达到最小。,37,竞争式学习规则属于无导师学习方式。,它认为，神经网络是由许多“区域”组成的，各个区域包含一定数量的神经元，当有外界刺激输入时，在同一个区域里的各个神经元发生竞争性响应，其结果是只有一个神经元获胜从而达到兴奋状态，其余神经元则被抑制。,（,3,）竞争式学习规则,38,“,自组织竞争人工神经网络”是一种模拟某类生物神经网络结构和现象的人工神经网络模型。,在该类生物神经网络中存在一种侧抑制现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。,这种侧抑制使神经细胞之间出现竞争，一个兴奋最强的神经细胞对周围神经细胞的抑制作用也最强。,“,竞争式学习规则”是自组织竞争神经网络中的一种基本学习规则。,39,设,j,为三层前向网络输入层中某个神经元（,j=1n,），,i,为隐含层神经元（,i=1h,），且隐含层神经元采用,Sigmoid,型传递函数。假设整个隐含层属于同一个竞争区域，则竞争式学习规则如下：,式中，,表示隐含层神经元,i,的状态，表示该神经元的输出；,表示输入层神经元,j,的状态，表示该神经元的输出。,40,如果在隐含层中竞争的结果神经元,k,获胜，则其输出达到最大,根据式,输入层所有与该神经元相连接的权值,ij,都,将发生变化，其结果将使,kj,y,j,(s,j,),，即,0,，从而使权值的调整达到稳态。,而此时其他竞争失败的神经元受抑制，其输出为最小：,41,二、典型结构的神经网络,反向传播（,BP,）网络,BP,（,Back Propagation,）,网络是一种最为常用的前馈网络，其结构如下图所示。,它有一个输入层，一个输出层，一个或多个隐含层。,每一层上包含若干个节点，每个节点代表一个神经元。同一层上的各个节点之间无耦合连接关系，信息从输入层开始在各层之间单向传播，依次经过各隐含层节点，最后到达输出层节点。,图,BP,网络,42,设,BP,网络接受的输入数据为,n,个，以向量,x,表示：,网络产生,m,个输出数据，用向量,y,表示：,则网络将对应地有,n,个输入节点、,m,个输出节点。,BP,网络可视为从,n,维输入空间到,m,维输出空间地非线性映射，即,43,定理,1,：给定任一连续函数：,f,：,0,，,1,n,R,m,，,f,可以精确地用一个三层,BP,网络实现，该网络的第一层即输入层有,n,个神经元，中间层有（,2n,1,）个神经元，第三层即输出层有,m,个神经元。,该定理反映了,映射网络的存在性,。,定理,2,：给定任意,0,，对于任意的,L,2,型连续函数,f,：,0,，,1,n,R,m,，存在一个三层,BP,网络，它在任意,平方误差精度内逼近,f,。,由上述两个定理表明，只要用三层的,BP,网络就可实现,L,2,型连续函数。,基于这一结论，在实际应用中,三层,BP,网络,已成为最为广泛应用的,BP,网络。,44,在,BP,网络的应用中，如何选取,BP,网络的隐含层数及其节点数，目前尚无准确的理论和方法。,以下是几个确定三层,BP,网络隐含层节点数,h,的经验参考公式：,（,1,）,其中，,n,为输入神经元数；,m,为输出神经元数；,a,为,1,10,之间的常数。,（,2,）,45,BP,网络的学习采用,BP,算法，即“,误差反向传播算法,”。,在,BP,算法中要用到,梯度下降法,，下面先介绍梯度下降法，然后再介绍,BP,算法。,梯度下降法,梯度下降法源于最优化计算方法，它是各类有导师学习算法中最为基本的一种方法。,46,梯度下降法的,基本思想,是以神经网络,期望的输出,和网络,实际输出,之间的,误差平方,作为学习的,目标函数,，根据使其最小化的原则来调整网络的权值。,定义如下,误差函数,：,式中，,k,为网络的离散时间变量；,W,为网络所有权值组成的向量；,Y,（,k,）为期望的网络输出向量；,为网络的实际输出向量；,表示向量的欧几里德范数。,47,梯度下降法,就是沿着,E,（,W,）的负梯度方向不断修正,W,的值，直至使,E,（,W,）达到最小值。,式中，,(k),是控制权值调整速度的变量，通常和计算的步长有关。,用数学公式表示为：,48,BP,算法,设,BP,网络共有,M,层（不包括输入层），第,l,层的节点数为,n,l,，,y,k,(l,）,表示第,l,层节点,k,的输出，则,y,k,(l,）,由下两式确定：,式中，,s,k,(l,）,为第,l,层神经元,k,的状态，神经元的状态按式 表示，即 ，,（,为该神经元的阈值。）,49,上式采用了向量表示法，其中，,W,k,(l,）,为由网络权值组成的系数行向量，,y,(l-1),为第,l-1,层的输出列向量。输入层作为第,0,层处理，因此，,y,(0),=x,，,x,为网络的输入向量。,50,给定样本模式,X,Y,后，,BP,网络的权值将被调整，使如下的误差目标函数达到最小：,式中，为网络的输出；,W,表示,BP,网络中所有的权值；,n,M,为最后一层（输出层）的节点数，,因此,n,M,m,，且 。,51,根据梯度下降最优化方法，可以通过,E,（,W,）的梯度来修正权值。连至第,l,层第,i,个神经元的权值向量,W,i,(l),的修正量由下式确定：,对于输出层（第,M,层），上式中的 为：,对于隐含层 为：,52,以上即为,BP,算法。对于给定的输入输出样本，按照上述过程反复调整权值，最终使网络的输出接近期望的输出。,由于权值的修正是在输入所有样本并计算总体误差后进行的，所以,BP,算法属于批处理的方法。,53,BP,算法整个处理过程可以分为两个阶段：,第二个阶段：,对权值的修正，从网络的输出层开始逐层向后进行计算和修正，这是,反向传播过程,。,第一个阶段：,从,BP,网络的输入层开始逐层向前计算，根据输入样本计算出各层的输出，最终求出网络输出层的输出，这是,前向传播过程,；,这两个过程反复交替，直到收敛为止。,54,反向传播的适用情况,正向传播用于进行网络计算，对其输入求出它的输出；反向传播用于逐层传递误差，修改连接权值，以使网络能进行正确的计算。,一旦网络经过训练用于求解现实问题，则就只需正向传播，不需要再进行反向传播。,55,网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂,非线性映射,的功能。这使得它特别适合于求解内部机制复杂的问题；,网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有,自学习能力,；,多层前向,BP,网络的优点：,网络具有一定的,推广、概括能力,。,56,BP,算法的实质是梯度下降法，因而可能存在陷入局部极小以及收敛速度慢等问题。,为了解决这些问题，通常采用全局最优算法与,BP,算法相结合的方法，同时还可以采取以下措施：,给权值加以扰动。在学习的过程中给权值加以扰动，有可能使网络脱离当前局部最小点的陷阱；,选择合适的初始权值；,在网络的学习样本中适当加些噪声，可避免网络依靠死记的办法来学习；,多层前向,BP,网络存在的问题及采取的措施：,57,当网络的输出与样本之间的差小于给定的允许误差范围时，则对此样本神经网络不再修正其权值，以此来加快网络的学习速度；,适当选择网络的大小，尽可能使用三层网络，这样可以避免因层数多、节点数多、计算复杂化而可能导致反向误差发散的情况。,58,径向基函数（,RBF,）网络,径向基函数（,radial basis function,RBF,）网络也是一种常用的前馈网络，其结构如下图所示。,图,RBF,网络,59,从结构上看，径向基函数（,RBF,）网络它属于三层前馈网络，包括一个,输入层,、一个,输出层,和一个,隐含层,。,输入层节点,的作用是将输入数据,x,1,，,x,2,，,，,x,n,传递到隐含层节点；,隐含层节点,称为,RBF,节点，由以,高斯型传递函数,为典型代表的辐射状函数神经元构成；,输出层节点,的传递函数通常为简单的,线性函数,。,60,隐含层节点的高斯核函数对输入数据将在局部产生响应。即当输入数据,靠近高斯核函数的中心,时，隐含层节点将产生,较大的输出,；反之则产生,较小的输出,。,高斯核函数的表达式为：,式中：,x=(x,1,，,x,2,，,，,x,n,),T,是,RBF,网络的输入数据向量；,u,j,是第,j,个隐含层节点的输出，且,u,j,0,，,1,；,C,j,是高斯核函数的中心值；,h,为隐含层,RBF,节点数；,j,为标准化常数。,61,RBF,网络的输出是隐含层节点输出的线性组合，即,式中：,62,第一阶段：,根据所有输入样本决定隐含层各节点的高斯核函数的中心值,C,j,和标准化常数,j,；,第二阶段：,当决定了隐含层的参数后，再根据样本，利用最小二乘原则，求出输出层的权值向量,W,i,。,RBF,网络的学习过程分为两个阶段：,63,Hopfield,网络是典型的反馈型神经网络（,feedback neural network,）。,Hopfield,网络,在反馈型神经网络中，输入数据决定了反馈系统的初始状态，经过一系列状态转移后，系统逐渐收敛至平衡状态。,这个平衡状态就是反馈型神经网络经计算后的输出结果。,64,稳定性,是反馈型神经网络最重要的问题之一。,如果能找到网络的,李雅普若夫,（,Lyapunov,）函数，则可以根据李雅普若夫稳定性定理来分析、设计反馈型神经网络，进而保证网络对任意的初始状态都具有稳定收敛的性质。,65,Hopfield,网络分连续型和离散型两种。,连续型,Hopfield,网络可用如下的非线性微分方程描述：,66,连续型,Hopfield,网络的非线性微分方程可由相应的电路模拟，如下图所示。,图中，,电阻,R,i,和电容,C,i,并联，以模拟生物神经元输出的时间常数；,跨导,t,ij,模拟生物神经元之间互连的突触特性；,运算放大器,A,i,用来模拟生物神经元的非线性特性,y,i,=g,i,(s,i,),；,神经元的状态（,s,i,）和输出（,y,i,）取电压量纲，而输入（,x,i,）取电流量纲。,图 连续型,Hopfield,网络的电路模拟,67,对于离散型,Hopfield,神经网络，考虑由,n,个神经元构成的单层全反馈型网络，网络结构如下图所示。,其中，,i,，,s,i,，,y,j,分别表示神经元,i,的阈值、状态和输出；,x,i,为网络的第,i,个输入信号。,图 离散的,Hopfield,神经网络（单层全反馈型）,68,对于神经元,i,，其模型方程如下：,其中，,sgn,为符号函数。,69,自组织特征映射网络,自组织特征映射神经网络（,self-organizing feature map,）是一种典型的自组织神经网络（,self-organizing neural network,）。,自组织神经网络是一种无教师学习的神经网络，它能够模拟人类应用过去的经验来自动适应无法预测的环境变化的能力。,由于没有教师信号，自组织神经网络通常利用,竞争学习规则,来进行网络的学习。,70,递归神经网络,递归神经网络（,RNN,）有,完全递归,和,部分递归,两种类型。,完全递归网络,具有任意的前馈和反馈连接，其所有连接权值都可修正调整。,部分递归网络,的主体结构仍为前馈型，反馈连接则由一组结构（,Context,）单元实现，其连接权值固定。,71,图 递归神经网络（,RNN,）,基于递归神经网络的结构如下图所示。,在该网络中，,输入单元,仅起输入信号传输作用；,输出单元,起线性加权求和作用；,结构单元,则记忆前一时刻的网络输出值，即起,延时算子,的作用。,W,i,，,W,o,，,W,c,分别表示,输入层至隐含层,、,隐含层至输出层,以及,结构单元至隐含层,的,权值矩阵,。,72,设递归神经网络的输入向量为：,网络的输出向量为：,反馈向量为：,隐含层节点的输出向量为：,73,则递归神经网络的模型可以用下述方程描述：,上式中，,k,为离散时间变量；,o,，,h,分别为输出层和隐含层神经元的阈值向量；,W,为由（,W,o,，,o,，,W,i,，,W,c,，,h,）组成的整个网络的参数矩阵。,74,在上述模型方程中，不同的反馈规则将导致不同的递归神经网络结构：,（,1,）若,F(k),0,，则递归神经网络将退化为普通的前馈网络；,由于在递归神经网络中引入了递归结构，所以能够实现对先验输入数据的记忆，即通过递归变量,F,，依据网络输出层和隐含层的状态信息保留系统中过去的信息。,输出层到隐含层有反馈,（,3,）若,F(k),V(k-1),，则为,Elman,型递归网络。,（,2,）若,F(k),Y(k-1),，则为,Jordan,型递归网络；,隐含层和隐含层之间有反馈,75,三、改进型,BP,算法及其在故障诊断中的应用,改进型,BP,算法,前面我们已经介绍了,BP,网络以及,BP,算法。,BP,网络是一种基本的神经网络，它在故障诊断中得到了广泛的应用。,BP,算法具有较为简单、清晰、有效的优点，但在实际应用中，存在两个主要问题：,一是其收敛速度较慢；,二是容易陷入局部极小点。,76,影响,BP,算法收敛速度和可能陷入局部极小点的因素很多，主要的影响因素有：,隐节点的数目、学习步长的选择、样本集的预处理、以及网络初始权值的选择等。,针对,BP,算法存在的问题，提出了不少改进型,BP,算法，如“变步长算法”和“引入动量因子的改进,BP,算法”等。,77,变步长算法,基本的,BP,算法是定步长的，这不利于计算的快速收敛。,变步长算法的基本思想是：,其中，是与步长有关的参数；,为步长的增大、缩小因子。,78,引入动量因子的改进,BP,算法,考虑一个三层,BP,网络，设它有,n,个输入节点、,m,个输出节点、,h,个隐含层节点。网络的输入和输出数据分别用向量,X,和,Y,来表示，即：,79,给定样本集,BP,网络的权值将被调整，使如下的误差目标函数达到最小：,上式中，为,BP,网络的输出向量，,WR,t,为,BP,网络中所有权值组成的权向量。,80,网络的学习可归结为如下的无约束最优化问题：,基本的,BP,算法根据,梯度法,来解决这个问题。权向量按照误差函数,E(W),的负梯度方向来修正，直到,E(W),达到最小值。因此，权向量的迭代公式为：,上式中，为常数，表示学习的步长；,G(k),为,E(W),的负梯度，即,（,1,）,81,为了加快,BP,算法的收敛速度，引入动量因子,，从而将式（,1,）中的权向量迭代修正规则改进成为：,上式中：,它记忆了上一时刻权向量的修改方向，从而使式（,2,）的形式类似于,共轭梯度算法,。,动量因子,的取值范围,0 1,，它的选取对网络学习的收敛速度有着重要的调节作用。,（,2,）,（,1,）,82,改进型,BP,算法在船舶主柴油机冷却系统故障诊断中的应用,应用神经网络技术解决故障诊断问题的主要步骤包括：,根据诊断问题组织学习样本；,根据问题和样本构造神经网络；,选择合适的学习算法和参数。,83,下面针对船舶主柴油机冷却系统的故障诊断问题，介绍基于,引入动量因子的,改进型,BP,算法的应用。,冷却系统是船舶主柴油机系统的一个子系统，其简化的流程如下图所示。,冷却系统属于船舶机舱高温淡水冷却回路，它用海水作为冷介质，通过热交换器去冷却高温淡水；经冷却后的高温淡水再去冷却主柴油机；高温淡水循环使用，必要时可通过淡水柜补充系统中的淡水循环量。,图 船舶主柴油机冷却系统流程图,84,根据故障机理分析以及该领域的专家知识，可以得到冷却系统的故障征兆集、故障原因集以及它们之间的关系。,T,1,：淡水温度（,0,C,）；,T,2,：海水温度（,0,C,）,P,1,：淡水压力（,MPa,）；,P,2,：海水压力（,MPa,）,Q,1,：淡水流量（,t/hr,）；,Q,2,：海水流量（,t/hr,）,以上,6,个参数作为神经网络的输入变量。,该系统的故障征兆可由以下,6,个可测的工艺参数表征：,85,该系统常见的故障原因如下：,F,0,：系统正常；,F,1,：气缸超载,F,2,：气缸后燃；,F,3,：淡水阀关闭或损坏,F,4,：淡水泵压力高；,F,5,：淡水管系泄漏,F,6,：淡水泵压力高；,F,7,：淡水旁通阀开度小,F,8,：淡水管系堵塞；,F,9,：冷却器管系堵塞,F,10,：海域气候；,F,11,：海水泵压力低,F,12,：海水滤器堵塞；,F,13,：海水泵压力高,F,14,：海水旁通阀开度大；,F,15,：海水阀堵塞,以上,16,个参数作为神经网络的输出变量。,用一个,BP,网络来处理该系统的故障诊断问题，因此，网络的输入节点数为,6,；输出节点数为,16,。,将故障征兆和故障原因之间的关系作为网络的学习对象，故障样本如下表所示。,86,样本序号,输入数据,输出数据,故障,类型,T,1,P,1,Q,1,T,2,P,2,Q,2,Y,0,Y,1,Y,2,Y,3,Y,4,Y,5,1,N,N,N,N,N,N,1,0,0,0,0,0,F,0,2,H,N,N,H,L,L,0,1,1,0,0,0,F,1,F,2,3,H,L,N,N,N,N,0,0,0,1,1,1,F,3,F,4,F,5,4,L,H,N,N,N,N,0,0,0,0,0,0,F,6,F,7,5,H,N,L,N,N,N,0,0,0,0,0,0,F,8,F,9,6,L,N,H,N,N,N,0,0,0,0,0,0,F,6,7,L,N,N,L,N,N,0,0,0,0,0,0,F,10,8,H,N,N,H,N,N,0,0,0,0,0,0,F,10,9,H,N,N,N,L,N,0,0,0,0,0,0,F,11,F,12,10,L,N,N,N,H,N,0,0,0,0,0,0,F,13,11,H,N,N,N,N,L,0,0,0,0,0,0,F,14,F,15,12,L,N,N,N,N,H,0,0,0,0,0,0,F,13,表中，,N,，,H,，,L,分别表示,Normal,，,High,，,Low,。,87,样本序号,输出数据,故障,类型,Y,6,Y,7,Y,8,Y,9,Y,10,Y,11,Y,12,Y,13,Y,14,Y,15,1,0,0,0,0,0,0,0,0,0,0,F,0,2,0,0,0,0,0,0,0,0,0,0,F,1,F,2,3,0,0,0,0,0,0,0,0,0,0,F,3,F,4,F,5,4,1,1,0,0,0,0,0,0,0,0,F,6,F,7,5,0,0,1,1,0,0,0,0,0,0,F,8,F,9,6,1,0,0,0,0,0,0,0,0,0,F,6,7,0,0,0,0,1,0,0,0,0,0,F,10,8,0,0,0,0,1,0,0,0,0,0,F,10,9,0,0,0,0,0,1,1,0,0,0,F,11,F,12,10,0,0,0,0,0,0,0,1,0,0,F,13,11,0,0,0,0,0,0,0,0,1,1,F,14,F,15,12,0,0,0,0,0,0,0,1,0,0,F,13,88,为了确定,BP,网络的结构并取得优良的故障诊断效果，在设定允许误差限度的情况下，针对三层,BP,网络结构和学习样本，采用引入动量因子的改进型,BP,算法，研究网络结构参数和算法参数对学习速度的影响，寻求参数的优化。,作如下仿真实验：,（,1,）固定网络的隐含层节点数,h,和学习效率 ，分析动量因子 对算法的影响。结果表明，引入动量因子有利于加速学习收敛，并且在一定范围内其收敛速度随 的增加而加快。优化的动量因子为 ,0.9,。,89,（,2,）固定学习效率和动量因子，分析,BP,网络的隐含层节点数,h,对算法的影响。结果表明，隐含层节点数对网络学习的收敛性也有很大的影响。最佳的隐含层节点数为,h,7,。,（,3,）选择优化的动量因子 ,0.9,和最佳的隐含层节点数,h,7,，然后选用不同的学习率 训练网络。结果表明，当 较小时网络收敛慢；而 取得过大则又会出现振荡而影响收敛。最终确定一个优化的学习率 ,0.7,。,90,以上的参数优化显著改善了,BP,网络学习能力。通过学习训练，,BP,网络获得了柴油机冷却系统故障诊断的知识，这些知识隐性地表达在神经网络的拓扑结构、连接形式和权值分布之中。,91,引入实际运行中的数据对该神经网络进行验证：,实验结果表明：,对于已学习过的样本知识，网络输出与期望结果充分相符，表明该网络能够正确地实现故障诊断；,当输入数据在一定范围内偏离样本知识时，网络的输出具有接近样本输出的倾向，因而表明神经网络在故障诊断方面的实际可用性；,对于远远偏离样本的输入数据，神经网络的诊断能力大大下降，甚至可能得出错误结论。,这表明，采用神经网络处理故障诊断问题，故障诊断机理的必要知识起着重要的作用。,92,内容补充：,基于神经网络技术的故障诊断在,MATLAB,中的实现,一、,MATLAB,语言简介,1,、,MATLAB,概述,MATLAB,诞生于,20,世纪,70,年代，它的编写者是,Cleve Moler,博士和他的同事们。,1984,年，,Cleve Moler,和,John Little,成立了,MathWorks,公司，正式把,MATLAB,推向市场，并继续进行,MATLAB,开发。,93,1993,年，,MathWorks,公司推出,MATLAB 4.0,；,1997,年，推出,MATLAB 5.0,；,2002,年,8,月，,MathWorks,公司发布,MATLAB 6.5,；,2004,年,9,月，,MathWorks,公司发布,MATLAB 7,；,2006,年,9,月，,MathWorks,公司发布,MATLAB 7.2,。从,06,年开始，,MathWorks,公司每年将进行两次产品发布，时间分别在每年的,3,月和,9,月，而且，每一次发布都会包含所有的产品模块，如产品的,new feature,、,bug fixes,和新产品模块的推出。,94,MATLAB,长于数值计算，能处理大量的数据，而且效率比较高。,MathWorks,公司在此基础上，加强了,MATLAB,的符号计算、文字处理、可视化建模和实时控制能力，增强了,MATLAB,的市场竞争力，使,MATLAB,成为了市场主流的数值计算软件。,95,2,、,MATLAB,功能,MATLAB,的核心是一个基于矩阵运算的快速解释程序，它交互式地接收用户输入的各项命令，输出计算结果。,MATLAB,提供了一个开放式的集成环境，用户可以运行系统提供的大量命令，包括数值计算、图形绘制和代码编制等。,具体来说，,MATLAB,具有以下功能：,数据可视化功能；,矩阵运算功能；,大量的工具箱；,绘图功能；,GUI,设计；,Simulink,仿真。,96,3,、,MATLAB,语言特点,MATLAB,语言有不同于其他高级语言的特点，他被称为第四代计算机语言。,MATLAB,语言最大的特点就是简单快捷。,具体来说，,MATLAB,主要有以下特点：,编程效率高：,MATLAB,是一种面向科学与工程计算的高级语言，允许用数学形式的语言来编写程序，比,Basic,、,Fortran,和,C,等语言更加接近我们书写计算公式的思维方式。,用,MATLAB,语言编写程序犹如在演算纸上排列出公式与求解问题一样。因此，,MATLAB,语言也可以通俗地称为“演算纸”式科学算法语言。,正是由于它编写简单，所以编程效率高，易学易懂。,97,用户使用方便：,MATLAB,语言是一种解释执行的语言，它灵活、方便，调试手段丰富，调试速度快。,MATLAB,语言与其他语言相比，把编辑、编译、连接和执行融为一体。,具体地说，在运行,MATLAB,时，如果直接在命令行输入,MATLAB,语句（命令），包括调用,M,文件的语句，每输入一条语句，就会立即对其进行处理，完成编译、连接和运行的全过程。,98,扩充能力强，交互性好：,高版本的,MATLAB,语言拥有丰富的库函数，在进行复杂的数学运算时可以直接调用，而且,MATLAB,的库函数同用户文件在形成方式上一样，所以用户文件也可以作为库函数被调用。,另外，在,Fortran,、,C,语言和,MATLAB,之间可以方便的调用，具有良好的交互性。,移植性好，开放性好：,MATLAB,是用,C,语言编写的，而,C,语言的可移植性很好。,除了内部函数外，,MATLAB,所有的核心文件和工具箱文件都是公开的，用户可以通过对源文件的修改和自己编程构成新的工具箱。,99,语句简单，内涵丰富,高效方便的矩阵和数组运算,方便的绘图功能：,MATLAB,的绘图功能是十分方便的，它有一系列绘图函数（命令），例如线性坐标、对数坐标、半对数坐标及极坐标。,在调用函数时，可以通过调整自变量绘出不同颜色的点、线、复线或多重线。,100,二、,MATLAB,快速入门,MATLAB,之所以易学易用，主要在于它向用户提供了成系列的交互式工作界面。,下