神经网络BP.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,1.,什么是神经网络,概述,1.1,发展历史,1.2,基本概念,1.2.1,人工神经元模型,1.2.2,人工神经网络的体系结构,1.2.3,人工神经网络的学习过程,2.BP,神经网络控制的基本思想与原理,概述,2.1 BP,神经网络,2.1.1 BP,神经网络模型,2.1.2 BP,学习算法,2.1.3 BP,网络存在的问题及改进方法,2.1.4,基于,MATLAB,的,BP,网络仿真,3.,最新研究进展,4.,评价,5.,主要参考文献,1.,什么是神经网络,神经网络,（,Neural NetworksNN,）是由大量的、简单的处理单元（称为,神经元,）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。,神经网络具有,大规模并行,、,分布式存储和处理,、,自组织,、,自适应,和,自学能力,，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。,神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。,神经网络的基础在于,神经元,。,神经元,是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。,大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是一个,高度非线性,动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。,细胞体,细胞体,是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜,。,树突,细胞体,的伸延部分产生的分枝称为树突,，树突是作为引入输入信号的突起。,轴突,细胞体,突起的最长的外伸管状纤维称为轴突,。轴突是作为输出端的突起，它只有一个。,突触,是一个神经元与另一个神经元之间相联系并进行信息传送的结构。它由突触前膜，突触间隙和突触后膜组成。突触前膜是一个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间。突触后膜可以是细胞体，树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时，也把突触看作是神经元之间的连接。,神经元功能,1.,兴奋与抑制,传入神经元的冲动经整和后使细胞膜电位提高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态不产生神经冲动。,2.,学习与遗忘,由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。,人工神经网络的特点和优越性：,1.,自学习和自适应性。,2.,非线性性。,3.,鲁棒性和容错性。,4.,计算的并行性与存储的分布性。,5.,分布式存储。,自适应是指一个系统能够改变自身的性能以适应环境变化的能力。,因此，神经网络比主要使用固定推理方式的专家系统具有更强的适应性，更接近人脑的 运行规律,神经网络具有信息存储的分布性，故局部的损害会使人工神经网络的运行适度减弱，但不会产生灾难性的错误。,神经网络的并行性，是由其结构决定的。,每个神经元都可以根据接受到的信息进行独立运算和处理，并输出结构。同一层的不同神经元可以同时进行运算，然后传输到下一层进行处理。因此，神经网络往往能发挥并行计算的优势，大大提升运算速度。,由于神经元之间的相对独立性，神经网络学习的“知识”不是集中存储在网络的某一处，而是分布在网络的所有连接权值中。,在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。,人工神经网络的模型现在有数十种之多，应用较多的典型的神经网络模型包括,BP,网络、,霍普菲尔德（,Hopfield,）网络、,ART,网络和,Kohonen,网络。,1.1,发展历史,神经网络经历了从高潮到低谷，再到高潮的阶段，充满曲折的过程。,初期阶段,美国心理学家,william James(1890),发表了,心理学原理,一书,论述了相关学习、联想记忆的基本原理,对人脑功能作了创见性地工作。,美国心理学家,W.S.Mcculloch,与数学家,W.A.Pitts(1943),合作,从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（,MP,模型），标志着神经网络研究的开端。,心里学家,DD.Hebb(1949),出版,行为构成,一书,首先建立了被称为,Hebb,算法的连接权训练规则。他认为学习过程就发生在两个神经细胞相互连接的突触处,并首先提出了神经元权值的修改方案,Hebb,学习规则至今仍产生深刻影响。,计算机学家,F.Rosenblatt(1958),提出了一种具有三层网络特性的神经网络结构,称为“感知器”。第一次从理论研究转入工程现实阶段。,电机工程师,Bernard Widrow,和,Marcian Hoff(1962),提出了一种连续取值的线性加权求和阀值网络,即自适应线性元件网络，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的,Widrow,一,Hoff,学习训练算法,井用硬件电路实现人工神经网络方面的工作,为今天用大规模集成电路实现神经网络计算机奠定了基础。,低潮阶段,人工智能的创始人,M.Minsky,和,S.Papert(1969),出版了一本名为,感知器,的专著,书中指出线性感知器功能是有限的,简单的神经网络只能进行线性分类和求解一阶谓词问题,而不能进行非线性分类和解决比较复杂的高阶谓词问题,.,由于,Minsky,在学术界的地位和影响，其悲观论点极大地影响了当时的人工神,经网络研究，为刚燃起的人工神经网络之火，泼了一大盆冷水。,使神经网络研究处于低潮的更重要的原因是，,20,世纪,70,年代以来集成电路和微电子技术的迅猛发展，使传统的冯,诺依曼型计算机进入发展的全盛时期，基于逻辑符号处理方法的人工智能得到迅速发展并取得显著成就，它们的问题和局限性尚未暴露，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。,美国波士顿大学自适应中心的,S.Grossberg,和夫人,G.A.Carpenter(1969),提出了著名的自适应共振理论模型,.,复苏阶段,进入,20,世纪,80,年代后，经过十几年迅速发展起来的以逻辑符号处理为主的人工智能理论和冯,诺依曼型计算机在视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折。,1982,年，美国加州工学院物理学家,J.J.Hopfield,提出了,Hopfield,神经网络模型，引入了“计算能量”概念，给出了网络稳定性判断。,1984,年，他又提出了连续时间,Hopfield,神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究,在,1986,年，在,Rumelhart,和,McClelland,等出版,并行分布式处理,一书，提出了一种著名的多层神经网络模型，即,BP,网络，该网络是迄今为止应用最普遍的神经网络。,新高潮阶段,1987,年,6,月在美国胜地亚哥召开了第一届国际神经网络学术会议,宣告了国际神经网络学会（,INNS,）正式成立。这标志者世界范围内掀起了神经网络开发研究的热潮。,美国波十顿大学的,S.Grossberg,教授、芬兰赫尔辛基技术大学的,T.Kohonen,教授及日本东京大学的甘利俊教授,首次创办了世界第一份神经网络杂志,Neural Network,。,接着国际电气工程师与电子工程师学会相继也成立了神经网络协会,于,1990,年,3,月出版神经网络会刊。从此以后涌现出各种神经网络的期刊,将神经网络的研究与开发推向新的热潮。,新发展阶段,90,年代初,对神经网络的发展产生了很人的影响是诺贝尔奖获得者,Edelamn,提出了,Darwinism,模型。,Narendra,和,Parthasarathy(1990,年,),提出了一种推广的动态神经网络系统及其连接权的学习算法,它可表示非线性特性,增强了鲁棒性。,Bulsari(1993,年,),提出以乘积函数作为激发函数,给出了非线性系统用神经网络逼近的构造描述,得到了节点数目的一个上界估计。,神经网络的应用进展：,模式分类,：将一个,n,维的特征向量映射为一个标量或向量的分类标签。分类问题的关键在于寻找恰当的分类面，将不同类别的样本区分开。现实中的分类问题一般比较复杂，样本空间中相距较近的样本也可能分属不同的类别。神经网络良好的非线性性能可能很好地刻画非线性分类画面，带来更好的模式识别能力。,聚类,:,聚类不需要提供已知样本，而是完全根据给定的样本工作。只需给定聚类的类别数,n,网络自动按样本间的相似性将输入样本分为,n,类。,回归和拟合,：相似的样本在神经网络的映射下，往往能得到相近的输出。因此，神经网络对于函数拟合问题具有不错的解决能力。,优化计算,:,已知约束条件，寻找一组参数组合，使由该组合确定的目标函数达到最小值。,BP,网络和其他部分网络的训练过程就是调整权值是输出误差最小化的过程。,数据压缩,：神经网络将特定只是存储于网络权值中，相当于将原有的样本用更小的数据量进行表示，这实际上是一个压缩的过程。,1.2,基本概念,1.2.1,人工神经元模型,人工神经元模型是由大量处理单元广泛互连而成的网络,是人脑的抽象、简化、模拟,反映人脑的基本特性。一般来说，人工神经元模型应具备三个要素,:,突触或连接权,每个由其权值或强度作为特征。常用,w,ij,表示神经元,i,和神经元,j,之间的连接强度。与人脑神经元不同,人工神经元权值的取值可在负值和正值之间。,加法器,，用于求输入信号被神经元的相应突触加权的和，这个操作构成一个线性组合器。,激励函数,，具有一个激励函数用于限制神经元输出振幅。激励函数将输出信号限制在一个允许范围内,使其成为有限值,通常神经元输出的扩充范围在,0,1,或,-1,1,之间。,典型的人工神经元模型如下图所示,：,其中,x,j,(j=1,2n),为神经元,i,的输入信号，,w,ij,为连接权，,u,i,是由输入信号线性组合后的输出，是神经元,i,的净输入。,i,为神经元的阀值，,v,i,为经偏差调整过的值，为称为神经元的局部感应区。,f(.),是激励函数,y,i,是神经元,i,的输出。,常见的激励函数有一下三种：,阈值函数,在模型中，如果神经元的诱导局部域非负，输出为,1,，,否则为,0,。此时神经元的输出取,1,或,0,反映了神经元的兴奋或抑制。,分段线性函数,该函数在,-1,1,线性区内的放大系数是一致的,这种形式的激励函数可看作是非线性放大器的近似。,下面两种情况可看作此函数的特例：,在保持运算的线性区域不超过的情况下，就成为线性组合器。,如果在线性区的放大因子无穷大，那么这个函数可看成是阈值函数。,sigmoid,函数,，此函数的图形是,S,型的，在构造人工神经网络中最常用的激励函数。,其中,a,是,sigmoid,函数的斜率参数，改变,a,可获得不同斜率的,sigmoid,函数。,例如，实际在原点处的斜率等于,a/4,在极限情况下，斜率参数趋于无穷，,sigmoid,函数就变成阈值函数，取,0,或,1,，而,sigmoid,的值域是,0,到,1,的连续区间。,还要注意,sigmoid,函数是可微分的，而阈值函数不可以。,神经网络中神经元的构造方式是和训练网络的学习算法紧密相连的。一般来说，我们可以区分三种不同的网络结构。,1.2.2,人工神经网络的体系结构,单层前馈网络,在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元的输出层，也就是说，这个网络是严格的无圈的或前馈的。,如图所示，输出输入层各有,4,个节点，这样的一个网络称为单层网。,多层前馈网络,前馈网络的第二种网络有一层或多层隐藏节点层。相应的计算节点称为隐藏神经元。,隐藏神经元的功能是以某种有用方式介入外部输入和网络输出之中。,加上一个或多个隐藏层网络可以引入高阶统计特性。,输入层的源节点提供激活模式的元素（输入向量），组成第二层（第一隐藏层）神经元的输入信号。第二层输出信号作为第三层输入，这样一直传递下去。通常，每一层的输入都是上一层的输出，最后的输出层给出相对于源节点的激活模式的网络输出。,该图是具有一个隐藏层和输出层的完全连接前馈网络。,完全连接网络：相邻层的任意一对节点都有连接，若不这样，称为部分连接网络。,递归网络,递归网络和前馈网络的区别在于它,至少有一个反馈环,。如右图所示，递归网络可以这样，,单层网络的每一个神经元的输出都反馈到所有其他神经元的输入中去。,图中的结构没有自反馈环，,自反馈环表示神经元的输出反馈到它自身的输入上去。,对于神经网络具有首要意义的性质是网络能从环境中学习的能力，并通过学习改善其行为。,神经网络通过施加于它的突触权值和偏置水平的调节的交互来学习它的环境。,理想情况下，神经网络在每一层重复学习过程后对它的环境便有了更多了解。,我们对神经网络中这样定义学习：,学习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。学习的类型由参数改变的方式决定。,学习过程中：,神经网络被一个环境所激励。,作为这个激励的结构，神经网络在它的自由参数上发生变化。,由于神经网络内部结构的改变而以新的方式响应环境。,1.2.3,人工神经网络的学习过程,有监督学习。,在有监督学习中的每一个训练样本都对应一个教师信号，教师信号代表了环境信息。网络将该教师作为期望输出，训练时计算实际输出与期望输出之间的误差，再根据误差的大小和方向对网络权值进行更新。这样的调整反复进行，直到误差达到预期的精度为止，整个网络形成了一个封闭的闭环系统。,神经网络的学习主要分为,有监督学习,和,无监督学习,。,无监督学习。,网络只能接受一系列的输入样本，而对该样本应有的输出值一无所知。因此，网络只能凭借各输入样本之间的关系进行权值的更新。例如，在自组织竞争系统网络中，相似的输入样本将会激活同一个输出神经元，从而实现样本聚类或联想记忆。由于无监督学习没有期望输出，因此无法用来逼近函数。,Hebb,规则是神经网络中最古老的学习规则，由神经心理学家,Hebb,最先提出。,其思想可以概括为：,如果权值两端连接的两个神经元同时被激活，则该权值的能量将被选择性地增加；如果权值两端连接的两个神经元被异步激活，则该权值的能量将被选择性地减小。,数学上表现为，权值的调整量与输入前一神经元输出值和后一神经元输出值的乘积成正比。假设前一神经元的输出为,a,，后一神经元的输出为,b,学习因子为,，,则权值调整量为：,Hebb,学习规则,以上两种学习方式对应了下面多种具体的学习规则：,Widrow-Hoff,学习规则,又称为,Delta,学习规则或纠错学习规则。假设期望输出为,d,，实际输出为,y,则误差为,e=d-y,，训练的目标是使得误差最小，因此权值的调整量与误差大小成正比：,随机学习规则,又称为,Boltzmann,学习规则，其思想源于统计学，由此设计的神经网络称为,Boltzmann,机，,Boltzmann,机实际上是模拟退火算法。,竞争,学习规则,网络的输出神经元之间相互竞争，在典型的竞争网络中，只有一个获胜神经元可以进行权值调整，其他神经元的权值维持不变，体现了神经元之间的侧向抑制，这与生物神经元的运行机制相符合。,2.BP,神经网络的基本思想与原理,BP,算法的出现,非循环多级网络的训练算法,UCSD PDP,小组的,Rumelhart,、,Hinton,和,Williams1986,年独立地给出了,BP,算法清楚而简单的描述,1982,年，,Paker,就完成了相似的工作,1974,年，,Werbos,已提出了该方法,概述,BP,网络主要用于：,1,、,函数逼近,：用输入向量和相应的输出向量训练一个网络逼近一个函数。,2,、,模式识别,：用一个特定的输出向量将它与输入向量联系起来。,3,、,分类,：把输入向量 以所定义的合适方式进行分类。,4,、,数据压缩,：减少输出向量维数以便于传输或存储。,2.1 BP,神经,网络,BP(Back Propagation),神经网络，即误差反向传播算法的学习过程，,由信息的正向传播和误差的反向传播两个过程组成,。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。,2.1.1 BP,神经,网络模型,BP,网络结构，如图,：,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,1,、,网络的构成,神经元的网络输入：,net,i,=x,1,w,1i,+x,2,w,2i,+x,n,w,ni,神经元的输出,：,2,、,输出函数分析：,1,（,0,0.5,）,net,（,0,0,）,o,0.5,f(net),0.25,o,0,1,因此应该将,net,的值尽量控制在收敛比较快的范围内,可以用其它的函数作为激活函数，只要该函数是处处可导的,2.1.2 BP,学习,算法,基本思想：,学习过程由信号的正向传播与误差的反向传播连个过程组成。正向传播时，输入样本从输入层传入，经各隐含层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不服，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。,这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络学习训练过程。,此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。,BP,网络模型中如图,1,所示的单隐层网络,(,三层前馈网,),的应用最为普遍。主要包括输入层、隐层和输出层,。,学习的过程：,神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。,学习的本质：,对各连接权值的动态调整,学习规则：,权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,学习类型：有导师学习,BP,网络的学习分两个阶段：,（1,）由前向后正向计算各隐层和输出层的输出,（,2,）由后向前误差反向传播以用于权值修正,若一个网络的学习过程采用,BP,算法，则该网络称为,BP,网络。标准的,BP,网络由三层神经元组成。最下层为输入层，中间为隐含层，最上面为输出层。网络中相邻层采取完全连接方式。,设输入层、隐含层及输出层神经元的个数分别为,L,M,N.,可以证明：在隐含层节点可以根据需要自由设置的情况下，那么用三层前向神经网络可以实现任意精度逼近任意连续函数。,下面推导前向多层网络的,BP,学习算法。,设从第,l,层神经元,j,到第,l-1,层神经元,i,的连接权值为,w,ji,(l),p,为当前学习样本，,o,pi,(l),为在,p,样本下第,l,层第,i,个神经元的输出，变换函数,f,.,取为,Sigmoid,函数，即,对于第,p,个样本，网络的输出误差,E,p,为：,其中，,t,pi,为输入第,p,个样本时第,j,个神经元的理想输出，,o,pj,(2),是它的实际输出。,考虑多层神经网络中的,l,层（隐含层或输出层，即,l=1,2,）,假设第,l,层有,J,个神经元，第,l-1,层有,I,个神经元，具有如下通用结构：,为了使系统的实际输出与理想输出相接近，即使,E,p,下降，根据梯度算法，我们可以对,l,层按下式进行调整：,对于非输出层的神经元具有下面的操作特性：,如果将,-,j,(l),看作是第,l-1,层的一个虚拟神经元的输出，即设,则,可改写为,：,又,由,可以得到：,定义：,则可得到：,可见，为求出调整值，必须先求出,pj,(l),由,可得：,现在，我们分两种情况来讨论：,如果所讨论的神经元为输出神经元，则由,可得：,代入 中，可得：,如果所讨论的神经元为隐含层神经元，则有：,将此结果代入 得到：,从上式可以看出，为求出隐含层的输出误差系数,pk,(l),必须用到输出层的,pj,(2),所以这个过程称为误差方向传播过程。,现在来讨论,pj,(l),项中的,f,j,(net,pj,(l),),由于,f,.,采用,Sigmoid,函数，即,由此我们可以得到：,将,代入,得到,将上面两式代入 得到：,当,l=2(,输出层,),时,当,l=1,（隐含层）时,BP,算法的各步骤：,（,1,）权值初始化：，,sq,为,ij,jk,或,kl,（,2,）依次输入,P,个学习样本。设当前输入第,P,个样本,（,3,）依次计算各层的输出：,x,j,x,k,y,l,j=0,1,n,1,k=0,1,n,2,l=0,1,m-1,（,4,）求各层的反传误差：,（,5,）记录已学过的样本个数,p.,如果,pP,转步骤（,2,）继续计算；如果,p=P,转步骤（,6,）。,（,6,）按权值修正公式修正各层的权值和阈值,（,7,）按新的权值再计算,xj,xk,yl,和,EA,若对每个,p,和,l,都满足 ，或达到最大学习次数，则终止学习。否则转步骤（,2,）继续新一轮的学习。,2.1.3 BP,网络存在的问题及改进方法,将,BP,算法用于具有非线性转移函数的三层前馈网络，可以以任意精度逼近任何非线性函数，这一非凡优势使三层前馈网络得到越来越广泛的应用。然而标准的,BP,算法在应用中暴露出不少内在的缺陷。,存在问题：,易形成局部极小而得不到全局最优,训练次数多使得学习效率低，收敛速度慢,隐含节点的选取缺乏理论指导,训练时学习新样本有遗忘旧样本的趋势,目前有效改进方法：,增加动量项,一些学者指出，标准,BP,算法在调整权值时，只按,t,时刻误差的梯度降方向调整，而没有考虑,t,时刻前的梯度方向，从而常使训练过程发生震荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项。,自适应调节学习率,学习率也称为步长，在标准的,BP,算法定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内学习率太小会使训练次数增加，因而希望增大学习率；而在误差变化剧烈的区域，学习率太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现震荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思想是自适应改变学习率，使其该大时增大，该小时减小。,引入陡度因子,误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。如果在调整进入平坦区域后，设法压缩神经元的净输入，使其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是在原转移函数中引入一个陡度因子。,2.1.4,基于,MATLAB,的,BP,网络仿真,建立一个,BP,网络来逼近正弦函数,以此来验证,BP,网络的非线性映射功能。,输入矢量,P=0:0.1:2.*pi;,输出矢量,T=sin(P);,选取隐含层神经元数目为,5,；隐含层和输出层的变换函数分别为双曲正切,S,函数和线性函数，训练函数为,trainlm.,BP,网络的函数逼近,2010,年维普检索情况：,3.,最新研究进展,EI,期刊,SCI,期刊,2011,年维普检索情况：,EI,期刊,SCI,期刊,2012,年维普检索情况：,EI,期刊,SCI,期刊,2013,年维普检索情况：,EI,期刊,SCI,期刊,2010,年,CNKI,检索情况：,EI,期刊,SCI,期刊,2011,年,CNKI,检索情况：,EI,期刊,SCI,期刊,2012,年,CNKI,检索情况：,EI,期刊,SCI,期刊,2013,年,CNKI,检索情况：,EI,期刊,SCI,期刊,BP,神经网络具有,的优点：,非线性映射能力,自学习和自适应能力,泛化能力,容错能力,4.,评价,但是随着应用范围的逐步扩大，,BP,神经网络也暴露出了越来越多的,缺点和不足,：,局部极小化问题,BP,神经网络算法的收敛速度慢,BP,神经网络结构选择不一,应用实例与网络规模的矛盾问题,BP,神经网络预测能力和训练能力的矛盾问题,BP,神经网络样本依赖性问题,。,BP,网络作为一种很重要的神经网络模型在许多领域都得到了应用（图像压缩编码、人脸识别、故障诊断、最优预测、分类）。,1.Simon Haykin,著，叶世伟，史忠植译,.,神经网络原理,M.,北京,:,机械工业出版社,2004.,2.,韩立群著,.,人工神经网络教程,M.,北京,:,北京邮电大学出版社,2006.,3.,周政著,.BP,神经网络的发展现状综述,J.,山西电子技术,2008,年第,2,期：,90-92.,4.,吴昌友,王福林,.,神经网络的研究及应用,.,东北农业大学，,2007.,5.,罗成汉,.,基于,MATLAB,神经网络工具箱的的,BP,网络实现,J.,计算机仿真，,2004,年第,5,期，,109-111.,6,吴今培，肖健华,.,智能故障诊断与专家系统,.,北京：科学出版社，,1997.,5.,主要参考文献,Thank you!,