第2章-神经网络-.ppt

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Company,Logo,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,*,第,2,章 神经网络,Contents,神经网络简介,1,神经网络的典型结构,2,神经网络的学习算法,3,BP,神经网络,4,进化神经网络,5,神经网络的应用,6,2.1,神经网络简介,什么是神经网络？,神经网络（,Neural Network,，,NN,）一般也称为人工神经网络（,Artificial Neural Network,，,ANN,），是科学家们在对生物的神经元、神经系统等生理学的研究取得了突破性进展以及对人脑的结构、组成和基本工作单元有了进一步认识的基础上，通过借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽象后建立的简化模型。,2,.1.1,基本原理,生物神经元基本结构示意图,2,.1.,1,基本,原理,树突,细胞体,轴突,突触,生物神经元,人工神经元,类比关系,输入层,加权和,阈值函数,输出层,2,.1.,1,基本,原理,模拟神经元的树突接收输入信号,输入层,加权和,阈值函数,输出层,模拟神经元的细胞体加工,和,处理信号,模拟神经元的轴突,控制信号的输出,模拟神经元的突触,对结果进行输出,人工神经元结构功能示意图,2,.1.,2,研究进展,重要学术期刊,IEEE Transactions on Neural Networks,IEEE Transactions on Systems,Man and Cybernetics,Journal of Artificial Neural Networks,Journal of Neural Systems,Neural Networks,Neural Computation,Networks Computation in Neural Systems,Machine Learning,2,.1.,2,研究进展,重要学术会议,International Joint Conference on Neural Networks,IEEE International Conference on Systems,Man,and Cybernetics,World Congress on Computational Intelligence,2,.,2,神经网络的典型结构,按网络的结构区分,前向网络,反馈网络,按学习方式区分,有教师（监督）学习网络,无教师（监督）学习网络,按网络的性能区分,连续型和离散型网络,随机型和确定型网络,2,.,2神经网络的典型结构,按突触性质区分,一阶线性关联网络,高阶非线性关联网络,按对生物神经系统的层次模拟区分,神经元层次模型,组合式模型,网络层次模型,神经系统层次模型,智能型模型,通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍,2,.,2.1,单层感知器网络,单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成,由于这种网络结构相对简单，因此能力也非常的有限，一般比较少用,单网,层络,感示,知意,器图,2,.,2.2,前馈型网络,前馈型网络的信号由输入层到输出层单向传输,每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息,是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求,2,.,2.3,前馈内层互联网络,这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连,2,.,2.4,反馈型网络,这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身还是前馈型的,这种神经网络的输入层不仅接受外界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号,此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合,2,.,2.5,全互联网络,全互联网络是网络中所有的神经元之间都有相互间的连接,如,Hopfiled,和,Boltgmann,网络都是这种类型,全,互,联,网,络,2.3,神经网络的学习算法,2.3.1,学习方法,有监督学习,无监督学习,再励学习,在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。,在无监督的学习方式中，,输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。,再励学习是介于上述两者之间的一种学习方法,2,.,3,.,2,学习规则,Hebb,学习规则,这个规则是由,Donald Hebb,在,1949,年提出的,他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强,Hebb,学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此这种方法又称为相关学习或并联学习,Delta,（,）学习规则,Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差,这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则,BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习,2,.,3,.,2,学习规则,梯度下降学习规则,梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降,误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值,Kohonen学习规则,该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络,后向传播学习规则,后向传播（Back Propagation，BP）学习，是目前应用最为广泛的神经网络学习规则,2,.,3,.,2,学习规则,概率式学习规则,从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习,神经网络处于某一状态的概率主要取决于此状态下的能量，能量越低的状态，出现概率越大；此概率还取决于温度,T,，,T,越大，不同状态出现概率的差异越小，较容易跳出能量的局部极小点而到全局极小点，,T,越小时，正好相反。,竞争式学习规则,竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接,竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别,2.4 BP,神经网络,2.4.1,基本思想,B,P,神经网络也称：,后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network，BPFNN/BPNN）,，是一种,应用最为广泛,的神经网络,在,BPNN,中，后向传播是一种学习算法，体现为,BPNN,的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为,BPNN,的网络构架,反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小,BPNN,是一种典型的神经网络，广泛应用于各种分类系统它也包括了训练和使用两个阶段。由于训练阶段是,BPNN,能够投入使用的基础和前提，而使用阶段本身是一个非常简单的过程，也就是给出输入，,BPNN,会根据已经训练好的参数进行运算，得到输出结果,2.4.2,算法流程,4.,网络权值与神经元偏置调整,3.,反向误差传播,2.,向前传播输入,1.,初始化网络权值,2.4.2,算法流程,1.,初始化网络权值,每两个神经元的网络连接权重 被初始化为一个很小的随机数（如,-1.01.0,或,-0.50.5,等）；,每个神经元有一偏置,i,，初始化为一随机数。,2.,向前传播输入,将训练样本输入到网络输入层，计算每个神经元的输出。,上一层单元,i,到本单元j,的网络权重；,上一层单元,i,的输出,本单元偏置，充当阈值。,激活函数，,logistic,函数，,sigmoid,函数,3.,反向误差传播,比较预期输出和实际输出，计算输出层误差。,Tj,输出单元,j,的预期输出,将得到的误差从后向前传播，前一层单元,j,的误差通过和它连接的后一层所有单元,k,的误差计算得到。,4.,网络权值与神经元偏置调整,可以一边后向传播误差，一边调整网络权重和神经元的阈值，也可以先计算得到所有神经元的误差，再统一调整网络权重和神经元阈值。,调整权重：从输入层与第一隐含层的连接权重开始，依次向后进行调整。,l,学习率，通常取,01,之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数,t,的倒数，即,1/t,。,4.,网络权值与神经元偏置调整,调整偏置：对每个神经元,j,进行如下更新：,l,学习率，通常取,01,之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数,t,的倒数，即,1/t,。,5.,判断结束,对每个样本，若最终输出误差小于可接受范围，或迭代次数到一定的阈值，则选取下一样本，转步骤,2,继续执行；,否则迭代次数加,1,，转步骤,2,继续使用当前样本训练。,2.4.3,应用举例,例,2.1,已知一个前馈型神经网络例子如下图所示。设学习率,l,为,0.9,，当前的训练样本为,x,=1,0,1,，而且预期分类标号为,1,，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程。,w,14,w,15,w,24,w,25,w,34,w,35,w,46,w,56,0.2,-0.3,0.4,0.1,-0.5,0.2,-0.3,-0.2,-0.4,0.2,0.1,例,10.3,BPNN,分类系统训练过程,w,14,w,15,w,24,w,25,w,34,w,35,w,46,w,56,0.2,-0.3,0.4,0.1,-0.5,0.2,-0.3,-0.2,-0.4,0.2,0.1,2.5,进化神经网络,对于某一具体问题，人工神经网络的设计是极其复杂的工作，至今仍没有系统的规律可以遵循,目前，一般凭设计者主观经验与反复实验挑选,ANN,设计所需的工具,这样不仅使得设计工作的效率很低，而且还不能保证设计出的网络结构和权重等参数是最优的，从而造成资源的大量浪费和网络的性能低下,人工神经网络存在的问题,2.5,进化神经网络,使用进化算法去优化神经网络，通过进化算法和人工神经网络的结合使得神经网络能够在进化的过程中自适应地调整其连接权重、网络结构、学习规则等这些在使用神经网络的时候难以确定的参数，从而形成了进化神经网络（,Evolutionary Neural Networks,，,ENN/EANN,）,进化算法和神经网络的结合给神经网络指明了新的发展方向，对突破神经网络结构复杂、参数难调等问题起到了重大的作用,进化神经网络的优势,2.6,神经网络的应用,民用应用领域,语言识别、图像识别与理解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等,军用应用领域,语音、图像信息的录取与处理、雷达、声纳的多目标识别与跟踪、战场管理和决策支持系统、军用机器人控制、各种情况、信息的快速录取、分类与查询、导弹的智能引导、保密通讯、航天器的姿态控制等等,2.6,神经网络的应用,识别与聚类应用,模式识别和分类是指通过使用一系列的训练数据对神经网络进行训练，在有教师指导的学习方法下，让神经网络在训练数据的训练下调整网络的结构和权重，以达到正确识别的目的,2.6,神经网络的应用,计算与优化应用,神经计算是人工神经网络的一个重要应用手段，也为各种优化问题提供了解决的方案。优化问题就是需要在问题的解空间里面寻找一个最优的解在满足一定约束条件下使得目标函数最大化或者最小化。由于神经网络具有并行搜索处理信息、联想记忆等特点，在搜索系统的全局最优或局部最优解方面，具有很好的优势，因此在优化问题上得到了广泛的研究和应用,2.6,神经网络的应用,建模与预测应用,人工神经网络应用在非线性系统建模上的时候，实质上就是通过训练神经网络，让其在训练数据中获取知识，并且完成从输入到输出的非线性映射过程,所谓神经网络预测就是根据一定数量的历史样本数据（一般为表征某一种现象时间序列的数据，例如交通流量，外汇走势等等）对神经网络进行训练，然后用来对当前的，或者未来的时刻情景进行预测,若已获得时间序列数据样本,t(1),t(2)t(n),以及对应的输出,y(1),y(2)y(n),，如果想预测,t(n+1),时刻的输出,y(n+1),，则需要先训练网络后使用网络。,训练网络,：先设定一时间长度,L,的历史数据作为一输入，第一个训练样本假设为,t(i-L+1),t(i-L+2)t(i),，其中,i=L,，作为网络的输入，,y(i),为输出，第二个训练样本为,t(i-L+2),t(i-L+3),t(i+1),和输出,y(i+1),，等等，训练后得到良好的权重。,使用网络,：输入为,t(n-L+2),t(n-L+3),t(n+1),，通过训练好的神经网络可得输出,y(n+1),。,2.6,神经网络的应用,控制与处理应用,神经网络已经在自动控制和信息处理等各个领域取得了相当成功的应用。在自动控制领域，主要的应用包括系统建模和辨识、参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、滤波与预测容错控制等,在各种信息、信号处理领域，神经网络也有重要的突破。例如在图像处理方面，神经网络能够很好地对图像进行边缘监测、图像分割、图像压缩和图像恢复等操作。此外，神经网络被广泛使用于信号处理方面，例如目标检测、多目标跟踪、杂波去噪、畸形波恢复、雷达回波多目标分类、运动目标速度估计、多探测信号融合等等,Thank You!,