智能控制理论教案-神经网络控制PPT参考课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主讲：范立南,沈阳大学信息工程学院,智能控制理论及其应用,第3章 神经网络控制,1,3.1 神经网络的发展和应用,3.2 神经网络的特性,3.3 生物神经元的结构与功能,3.4 人工神经网络模型与变换函数,3.5 典型前馈神经网络BP网络,3.6 典型反馈神经网络 Hopfield网络,3.7 神经网络控制原理,3.8 神经网络的应用实例,第3章神经网络控制,2,神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展，更主要的原因在于发展新型计算机和人工智能新途径的迫切需要,神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点,3,神经网络控制是一种基本上,不依赖于模型,的控制方法,适用于具有,不确定性,或,高度非线性,的控制对象,具有较强的,适应,和,学习,功能,是,智能控制,的一个,重要分支,领域,4,3.1 神经网络的,发展,和应用,神经网络的研究至今有60多年的历史，其发展道路曲折，目前已得到较深入而广泛的研究与应用,1943年，心理学家,M,cCulloch和数理学家,P,itts提出,形式神经元数学模型,，通常称为,MP,模型,1949年，D.O.Hebb提出,调整神经网络连接权的规则,（Hebb,学习规则,）,1958年，F.Rosenblatt提出,感知机模型,，用于,模式分类,5,3.1 神经网络的,发展,和应用,1969年M.Minsky和S.Papert发表专著“感知机”，指出线性感知机功能有限,70年代，神经网络研究处于低潮,6,3.1 神经网络的,发展,和应用,1982、1984年，美国物理学家J.J.Hopfield发表2篇文章，提出一种反馈互连网，称,Hopfield网,，,开拓了神经网络用于联想记忆和优化计算的新途径,7,3.1 神经网络的,发展,和应用,1986年，美国加州大学学者 D.E.Rumelhart（鲁梅尔哈特）和J.L.McClelland（麦克莱兰）提出多层前馈网的反向传播算法（Back Bropagation），简称,BP网络或BP算法,David,Rumelhart,James,McClelland,8,3.1 神经网络的,发展,和应用,1987年，在美国召开第1届国际神经网络会议,1990年12月，国内首届神经网络大会在北京举行,9,3.1 神经网络的,发展,和应用,发展趋向及前沿问题,对智能和机器关系问题的认识将进一步增长,神经计算和进化计算将有重大的发展,神经网络结构和神经元芯片的作用将不断扩大,10,3.1 神经网络的发展和,应用,模式识别与图像处理,印刷体和手写体字符识别,语音识别,签字识别,指纹识别,人脸识别,癌细胞检测,心电图和脑电图分类,目标检测与识别,11,3.1 神经网络的发展和,应用,控制与优化,化工过程控制,机械手运动控制,电弧炉电极控制,石油精练和食品工业中优化控制,12,3.1 神经网络的发展和,应用,预测与管理,股票市场预测,有价证券管理,借贷风险分析,信用卡管理,机票管理,13,3.1 神经网络的发展和,应用,通信,自适应均衡,路由选择,其它,导航,电机故障检测,多媒体技术等,14,3.2 神经网络的特性,神经网络是受人和动物神经系统启发，利用,大量简单处理单元,互联,而,构成的复杂系统,，以解决,复杂模式识别,与,行为控制,问题,人工神经网络是一种,非线性的映射方式,，它将,输入的特征值,映射到,网络的输出分类结果,，并可依照其分类的误差大小或某些能量函数来,调整网络中的加权值使其达到收敛,这些方法模仿人的生理,学习功能,，并能够将输入信息结合到分类规则中去,15,3.2 神经网络的特性,神经网络对于,解决模式识别问题,来说比其他方法具有,3,点突出的优势,对问题的了解要求较少,可以实现特征空间较复杂的划分,适合于用高速并行处理系统来实现,16,3.2 神经网络的特性,并行分布处理,神经网络具有高度的并行结构和并行实现能力，因而能够有,较好的耐故障能力,和,较快的总体处理能力,特别适于,实时控制和动态控制,17,3.2 神经网络的特性,非线性映射,神经网络具有固有的非线性特性，这源于其近似,任意非线性映射（变换）能力,这一特性给非线性控制问题带来新的希望,18,3.2 神经网络的特性,通过训练进行学习,神经网络是通过所研究系统,过去的数据记录,进行,训练,的,一个经过适当训练的神经网络具有,归纳,全部数据的能力,因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题,19,3.2 神经网络的特性,适应与集成,神经网络能够适应,在线运行,，并能同时进行定量和定性操作,神经网络的,强适应,和,信息融合,能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理,这些特性特别适于,复杂、大规模和多变量系统的控制,20,3.2 神经网络的特性,硬件实现,神经网络不仅能够通过,软件,而且可借助,硬件,实现并行处理,由超大规模集成电路实现的硬件已经面世,这使得神经网络具有,快速,和,大规模处理,能力的网络,21,3.2 神经网络的特性,总之，神经网络具有,自学习,自适应,自组织,大规模并行处理,等特点,在自动控制领域展现了广阔的应用前景,22,3.3,生物神经元的结构与功能,生物神经元的结构,人脑是由大量的,神经元(神经细胞)组合,而成,神经元之间互相,连接,神经系统的基本构造是,神经元,是处理人体内各部分之间相互,信息传递的基本单元,据神经生物学家研究的结果表明，,人的大脑一般有10,10,10,12,个神经元,23,3.3,生物神经元的结构与功能,生物神经元的结构,大多数神经元由一个,细胞体,和,突,两部分组成,24,3.3,生物神经元的结构与功能,生物神经元的结构,25,3.3,生物神经元的结构与功能,生物神经元的结构,细胞体,由,细胞核,、,细胞质,和,细胞膜,组成,突,分两类，即,轴突,和,树突,26,3.3,生物神经元的结构与功能,生物神经元的结构,轴突,是个突出部分，细胞体向外伸出的,最长的一条分支,，即,神经纤维,，把本神经元的输出发送至其它相连接的神经元,远离细胞体一侧的轴突端有许多分支，称,轴突末梢,轴突通过轴突末梢向其他神经元传出,神经冲动,27,3.3,生物神经元的结构与功能,生物神经元的结构,树突,也是突出部分，但一般,较短,，且分枝很多，与其它神经元的轴突相连,树突相当于细胞输入端，,树突,用于接收周围其它神经元的,神经冲动（生物信号）,神经冲动只能由前一级神经元的轴突末梢传向下一级神经元的树突或细胞体,，,不能,作反向的传递,轴突和树突共同作用,，实现了神经元间的,信息传递,28,3.3,生物神经元的结构与功能,生物神经元的结构,神经元具有两种常规工作状态：,兴奋与抑制,，即满足“,01,”率,当,传入的神经冲动,使细胞膜电位升高,超过阈值（约为40mv）,时，细胞进入,兴奋状态,，,产生神经冲动,并由轴突输出,当传入的神经冲动使膜电位下降,低于阈值,时，细胞进入,抑制状态,，没有神经冲动输出,29,3.3,生物神经元的结构与功能,生理神经元的功能,脑神经生理学研究结果表明，每个人脑大约含有10,10,10,12,个神经元，,每一神经元又约有10,3,10,4,个突触,神经元通过,突触,形成的,网络,，,传递,神经元间的,兴奋与抑制,大脑的全部神经元,构成极其复杂的,拓扑网络群体,，用于,实现记忆与思维,30,3.4,人工神经网络模型与变换函数,人工神经网络,(Artificial Neural Networks:,ANN,),是反映人脑结构及功能的一种抽象数学模型,一个,人工神经网络,是由,大量神经元结点互连,而成的复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为,人工神经网络,是由大量,的简单计算处理单元,(,神经元,),通过极其丰富和完善的连接而构成的,自适应非线性动态系统,31,3.4,人工神经网络模型与变换函数,一个基于人工神经网络的智能系统是,通过学习获取知识后建立的,从本质上讲，人工神经网络的学习是一种,归纳学习方式,，它通过对大量实例的反复学习，,由内部自适应过程不断修改各神经元之间互连的权值,，最终使神经网络的,权值分布收敛于一个稳定的范围,神经网络的,互连结构,及各连接,权值稳定分布,就表示了,经过学习获得的知识,32,3.4,人工神经网络模型与变换函数,人工神经元的组成,人工神经元模型,33,3.4,人工神经网络模型与变换函数,人工神经元的组成,神经网络在两个方面与人脑相似：,（1）神经网络获取的,知识,是从外界环境中,学习,得来的,（2）互连神经元的连接强度，即,突触权值,，用于,储存获取的知识,用于完成学习过程的程序称为,学习算法,，其功能是,以有序的方式,改变网络的,突触权值,以获得想要的设计目标,34,3.4,人工神经网络模型与变换函数,人工神经元的组成,可把,ANN,看成是以处理单元为,结点,，用加权,有向弧,(,链,),相互连接而成的,有向图,其中，,处理单元,是对生物神经元的模拟,，而,有向弧,则是轴突,-,突触（轴突末梢）,-,树突对的模拟,有向弧的,权值,表示,两处理单元间相互作用的强弱,在简单的人工神经网络模型中，,用,权,和,乘法器,模拟,突触,特性,，,用,加法器,模拟,树突的互联作用,，而且,与,阈值比较,来模拟细胞体内电化学作用产生的,开关特性,35,3.4,人工神经网络模型与变换函数,决定神经网络整体性能的三大要素,（1）,神经元,（信息处理单元）的,特性,（2）神经元之间相互连接的形式,拓扑结构,（3）为适应环境而改善性能的,学习规则,36,3.4,人工神经网络模型与变换函数,人工神经元的组成,该神经元模型的输入输出关系为,其中 称为阈值,称为连接权系数,称为输出,变换函数,，或,激励函数,，或,激活函数,，或,传递函数,37,3.4,人工神经网络模型与变换函数,常用的变换函数,变换函数,实际上是神经元模型的,输出函数,一般为非线性函数,用以,模拟神经细胞的兴奋、抑制及阈值等非线性特性,经过,加权加法器和线性动态系统进行时空整合的信号s,，再经,变换函数f(s),后即为,神经元的输出y,y=f(s),38,3.4,人工神经网络模型与变换函数,常用的变换函数,比例函数,可微，不常用,39,3.4,人工神经网络模型与变换函数,常用的变换函数,符号函数（双向阈值函数）,不可微，类阶跃，零均值,40,3.4,人工神经网络模型与变换函数,常用的变换函数,饱和函数,可微，零均值,41,3.4,人工神经网络模型与变换函数,常用的变换函数,双曲函数,可微，类阶跃，零均值,42,3.4,人工神经网络模型与变换函数,常用的变换函数,阶跃函数（阈值函数）,不可微，类阶跃，正值,43,3.4,人工神经网络模型与变换函数,常用的变换函数,S形（,Sigmoid,）函数,可微，类阶跃，正值,44,3.4,人工神经网络模型与变换函数,常用的变换函数,高斯函数,可微，类脉冲,45,3.4,人工神经网络模型与变换函数,上述非线性变换函数的显著特征,突变性,饱和性,正是为了模拟神经细胞兴奋过程中所产生的,神经,冲动,以及,疲劳,等特性,46,3.4,人工神经网络模型与变换函数,人工神经网络结构,将大量功能简单的基本神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，即,神经网络结构,网络结构,一般由,许多个神经元组成,每个神经元,有一个,单一的输出,输出,可以,连接到很多其他的神经元,其,输入,有,多个连接通路,每个,连接通路,对应一个,连接权系数,47,3.4,人工神经网络模型与变换函数,人工神经网络结构,神经网络是一个具有如下性质的,有向图,对于每个结点有一个,状态变量,结点i到结点j有一个,连接权系数,对于每个结点有一个,阈值,对于每个结点定义一个,变换函数,最常见的情形为,48,3.4,人工神经网络模型与变换函数,人工神经网络结构,根据神经元之间连接的拓扑结构不同，神经网络结构可分为两大类,层状结构,网状结构,层状结构,的神经网络由若干层组成，每层中有一定数量的神经元，,相邻层中神经元单向连接,，一般,同层内的神经元不能连接,网状结构,的神经网络中，,任何两个神经元,之间都可能,双向连接,49,3.4,人工神经网络模型与变换函数,人工神经网络结构,常见的神经网络结构,前向网络（前馈网络）,50,3.4,人工神经网络模型与变换函数,人工神经网络结构,常见的神经网络结构,反馈网络,51,3.4,人工神经网络模型与变换函数,人工神经网络结构,常见的神经网络结构,相互结合型网络,52,3.4,人工神经网络模型与变换函数,人工神经网络结构,常见的神经网络结构,混合型网络,53,3.5 典型前馈神经网络BP网络,感知机（感知器）,基本感知机是一个两层网络,分为输入层和输出层,每层由多个处理单元（神经元）构成,54,3.5 典型前馈神经网络BP网络,感知机（感知器）,感知机的学习是典型的,有教师学习,（训练）,训练要素,：训练样本、训练规则,当给定某一训练模式时，输出单元会产生一个实际的输出向量，用期望输出与实际输出之差修正网络权值,55,3.5 典型前馈神经网络BP网络,感知机（感知器）,权值修正采用,学习规则,，感知机的学习算法为,对于：,式中：,表示t时刻输出,表示输入向量的一个分量,表示t时刻第i个输入的加权值,表示阈值,表示变换函数,56,3.5 典型前馈神经网络BP网络,感知机（感知器）,式中：,表示学习因子，在（0，1区间取值,表示期望输出（教师信号）,表示实际输出,57,3.5 典型前馈神经网络BP网络,感知机（感知器）,令,输入状态为：,或0,因输入可能是前一级的输出，因此,感知器输入与输出取值一般都为1或0,58,3.5 典型前馈神经网络BP网络,感知机（感知器）,权值变化量,与,3个量,有关：,输入状态、输出误差、学习因子,当且仅当输出单元有输出误差且相连输入状态为1时，修正权值,，,或增加一个量或减少一个量,学习因子,控制每次的误差修正量,的取值一般不能太大，也不能太小，太大会影响学习的收敛性，太小会使权值收敛速度太慢，训练时间太长,59,3.5 典型前馈神经网络BP网络,BP网络模型,BP模型，即误差反向传播神经网络,BP在神经网络中使用最广泛,BP网络是典型的多层网络,分为输入层、隐含层、输出层,层与层之间多采用全互连方式,同一层单元之间不存在相互连接,60,3.5 典型前馈神经网络BP网络,BP网络模型,BP网络的基本处理单元（输入层单元除外）为非线性输入输出关系，,对于连续系统，一般选用S型变换函数，即,且处理单元的输入、输出值可连续变化,61,3.5 典型前馈神经网络BP网络,BP网络模型,BP网络模型实现了多层网络学习的设想,当给定网络的一个输入模式时，它由输入层传到隐含层单元，经隐含层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为,前向传播,如果输出响应与期望输出模式有误差，且不满足要求，则转入,误差反向传播,，即将误差值沿连接通路逐层向后传送，并修正各层连接权值,62,3.5 典型前馈神经网络BP网络,BP网络模型,图给出了多层前向网络中的一部分，有两种信号在流通,前向工作信号和反向误差信号,63,3.5 典型前馈神经网络BP网络,BP网络模型,工作信号（用实线表示）,：是施加输入信号后向前传播直到输出层产生实际输出的信号，是输入和权值的函数,误差信号（用虚线表示）：,网络实际输出与应有输出间的差值即为误差，由输出层开始逐层反向传播,64,BP神经网络结构,3.5,典型前馈神经网络BP网络,BP学习算法,65,3.5 典型前馈神经网络BP网络,BP学习算法,权值和节点偏移（阈值）的初始化,给定输入矢量和所希望的输出矢量,计算实际输出矢量,梯度计算,对输出层,66,平方误差,其中 希望响应,实际响应,是输出层中的节点数,为使误差函数最小化,与误差相对于权值的偏导数成比例地调整权值,梯度下降法,其中 是步长，或称学习算子或学习率,而,3.5 典型前馈神经网络BP网络,BP学习算法,67,得到,其中,而,则,同理对隐层,3.5 典型前馈神经网络BP网络,BP学习算法,68,权值学习,即,改进算法,其中 变步长，,阻尼系数(动量因子、惯性因子),回到直到求出最优解,3.5 典型前馈神经网络BP网络,BP学习算法,69,3.5 典型前馈神经网络BP网络,BP学习算法,从上述推导可见，求k层的误差信号需要后一层的，因此,误差函数的求取是一个始于输出层的反向传播的递归过程,，所以称为,反向传播学习算法,通过多个样本的学习，修正权值，不断减少误差，最后达到满意的结果，,对全部学习样本都有误差为0,，即权值W不再被修改，说明,W已经收敛于稳定的权值分布，则学习过程中止,70,3.5 典型前馈神经网络BP网络,BP学习算法,学习算法的中止条件,：,实际上，中止条件可以,设定宽松一些,，例如，可设定为满足以下,两个条件之一即可中止,：,对全部学习样本,满足输出偏差,，其中 是初始设定的允许偏差,迭代次数（训练次数）,达到初始设定的最大迭代次数,71,3.5 典型前馈神经网络BP网络,BP学习算法,BP算法程序框图,72,3.5 典型前馈神经网络BP网络,BP学习算法评价,BP算法的,基本思想,是把,一组样本的输入输出问题,变为,一个非线性优化问题,，用优化中普遍使用的,梯度下降算法,来实现网络的实际输出与期望输出之间的,方差最小,，完成神经网络的训练任务。,BP网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有良好的,泛化,能力,73,3.5 典型前馈神经网络BP网络,BP学习算法评价,主要优点,：,非线性映射能力,能,学习和存储大量输入-输出模式映射关系,，而无需事先了解描述这种映射关系的数学方程。,只要能提供足够多的,样本模式对,供网络进行学习训练，它便能完成,由n维输入空间到m维输出空间的非线性映射,。,只要有足够多的隐含层和隐结点，BP网络可以,逼近任意的非线性映射关系,74,3.5 典型前馈神经网络BP网络,BP学习算法评价,泛化能力,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为,泛化能力,。,BP网络的学习算法属于全局逼近的方法，因而具有,较好的泛化能力。,容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,75,3.5 典型前馈神经网络BP网络,BP学习算法评价,适用于,神经网络主要基于所测量的数据,对系统进行建模、估计和逼近,，故可应用于如,分类、预测及模式识别,等方面,对于那些几乎没有规则，数据不完全或者多约束优化问题，适合于用神经网络,由于BP网络具有很好的逼近非线性映射的能力，因而可用于,信息处理、图像识别、模型辨识、系统控制,等,76,3.5 典型前馈神经网络BP网络,BP学习算法评价,主要缺点,：,收敛速度慢,局部极值,难以确定隐含层和隐结点的个数,77,3.5 典型前馈神经网络BP网络,BP学习算法评价,当所给数据不充分或不存在可学习的映射关系时，神经网络可能找不到满意的解,有时很难估价神经网络给出的结果,神经网络中的,连接权系数,是千万次数据训练后的结果，,对它的意义很难给出明显的解释,，对输出结果的影响也是非常复杂的,78,3.5 典型前馈神经网络BP网络,BP学习算法评价,神经网络的,训练是很慢的,，有时需要付出很高的代价,付出代价,指一方面由于需要收集、分析和处理大量的训练数据，同时还需相当的经验来选择合适的参数,79,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,产生数据样本集,包括,原始数据的收集,数据分析,变量选择,数据的预处理,80,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,产生数据样本集,在,大量的原始测量数据,中确定最主要的输入模式，,减少输入数据之间的相关性,，找出,最主要的量作为输入,确定输入量后，往往要进行,尺度变换，,变换到,-1,1,或,0,1,的范围,进行数据预处理目的,是使神经网络,更容易学习和训练,数据预处理,主要用到,信号处理,或,特征提取,技术,81,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,在神经网络训练完成后，需要有另外的测试数据来对网络加以校验，,测试数据应是独立的数据集合,例如：将收集到的可用数据,随机分成两部分,，其中2/3用于网络的训练，另外1/3用于将来的测试，,随机选取的目的是为了尽量减少这两部分数据的相关性,82,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,确定网络的类型和结构,根据问题的性质和任务的要求选择合适的,网络类型,在网络的类型确定后，剩下的问题是选择,网络的结构,和,参数,83,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,确定网络的类型和结构,以BP网络为例，需选择,网络的层数,每层的结点数,初始权值,阈值,学习算法,数值修改频度,结点变换函数及参数,学习率,动量项因子等参数,84,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,确定网络的类型和结构,有些项的选择有,一些指导原则,，但更多的是靠,经验,和,试凑,对于具体问题若,输入和输出变量确定,后，网络,输入层,和,输出层,的,结点个数也随之确定,85,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,确定网络的类型和结构,对于隐含层的,层数,可先考虑只选择一个隐含层,隐含层结点数的选择原则,是：在能正确反映输入输出关系的基础上，尽量选取较少的隐含层结点数，而使网络尽量简单,若采用某种方法选择得到的隐含层结点数太多，可考虑采用两个隐含层,为了达到相同的映射关系，采用两个隐含层的结点数常比只用一个隐含层时少,86,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,网络中的,权值,体现着把输入模式映射到网络所需的,知识,最初，被给定问题域的权值是未知的，直到找到有用权值之前，神经网络不能解决这个问题,寻找有用权值集合的过程，称为,训练,训练首先提供,训练样本（集合）,，,由输入样本和与之相对应的代表正确分类的输出组成,87,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,在训练过程中对,训练样本数据需要反复地使用,对所有样本数据正向运行一次并反传修改连接权一次称为,一次训练,（或一次学习），这样的训练需要反复地进行下去直至获得合适的映射结果,训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质关系，从而对于未经训练的输入也能给出合适的输出，即具备泛化功能,88,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,网络训练过程包括从训练集合到权值集合的映射,至少在给定误差内，该组权值对训练集矢量给出正确的输出结果,网络所学正是训练集合所致,如果合理选择训练集合，并且训练算法有效，那么，,网络应能正确地预测出不属于训练集合的输入量对应的输出,具有泛化能力,89,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,网络的性能主要用,泛化能力,来衡量，它并不是用对训练数据的拟合程度来衡量，而是要用一组独立的数据来加以测试和检验,在,用测试数据检验,时，保持连接权系数不改变，只用该数据作为网络的输入，正向运行该网络，检验输出的均方误差,90,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,把神经网络应用于模式识别问题包括两个截然不同的阶段,在网络,训练阶段,，调整网络权值以表现问题域,第二阶段或称,工作阶段,，,权值固定不变，并且当把实验数据或实际数据输入到网络时，网络能够在误差范围内正确地预测计算出结果,91,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练阶段,92,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,工作阶段（测试阶段）,93,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,实际操作时，可以训练和测试交替进行，即每训练一次，同时用测试数据测试一遍，画出均方误差随训练次数的变化曲线,从误差曲线可见，在使用测试数据检验时，均方误差开始逐渐减少，当训练次数再增加时，测试检验误差反而增加,误差曲线上极小点所对应的即为恰当的训练次数,，若再训练即为“过度训练”,94,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,均方误差曲线,95,3.5,典型前馈神经网络BP网络,训练神经网络的具体步骤和几个问题,训练和测试,对于网络隐含层结点数的选择若采用试验法，也需训练与测试相结合，最终用测试误差来衡量网络的性能,均方误差与隐含层结点数也有与图类似的关系，因此也不是结点数越多越好,选择结点数的原则,是：选择尽量少的结点数以实现尽量好的泛化能力,96,模式识别框图,图像识别系统主要部分,图像信息的获取 信息的加工和处理，提取特征 判断或分类,BP应用举例,基于BP神经网络的图像模糊分类研究,97,神经网络训练与学习的预处理,不变矩矢量标准化,实质是对输入矢量实行线性映射,特征转换为0,1之间,设图像不变矩输入矢量,X,的最大值为 ，最小值为 ，则不变矩矢量标准化过程可描述为,BP应用举例,基于BP神经网络的图像模糊分类研究,98,以,BP,网络做模糊分类,使用模糊化的方法先对输入特征数据做预处理,将得到的归属值代替目标输出，介于01之间的值,每一个图像模式归属于某一类是以其0到1的数字代表其归属程度，其中1与0分别代表最高与最低的归属度,BP应用举例,基于BP神经网络的图像模糊分类研究,99,实现过程,选择BP网络的实际输出中具有最大值的输出节点所在的位置标号,则该位置标号对应一个具体的输出类别,如果BP网络的实际输出节点同时存在多个最大值，则做出拒绝判断,BP应用举例,基于BP神经网络的图像模糊分类研究,竞争选择,100,BP,神经网络的训练与识别,BP应用举例,基于BP神经网络的图像模糊分类研究,101,实验结果与分析,实验对象选用不同脏器的10幅医学图像,BP应用举例,基于BP神经网络的图像模糊分类研究,基于面矩的BP神经网络模式识别实验,102,将每幅图像做多比例缩放和多角度旋转变化,训练集由原始尺寸、缩小一半、放大一倍并各自旋转0,、90,、180,、270,得到120幅图像组成,测试集由原始尺寸、缩小一半、放大一倍并各自旋转45,、135,、225,、315,得到120幅图像组成,训练集和测试集中的图像互不重叠,训练集的样本结构为第,1,类别样本的,12,幅图像；第,2,类别样本的,12,幅图像；,；第,10,类别样本的,12,幅图像,测试集的样本结构与训练集的相同,BP应用举例,基于BP神经网络的图像模糊分类研究,实验结果与分析,103,采用三层,BP,网络拓扑结构,输入层节点数7,隐含层节点数9,输出层节点数取10,实验结果与分析,104,标准化后的特征矢量(部分,1,),实验结果与分析,105,标准化后的特征矢量(部分,2,),实验结果与分析,106,训练集中经模糊化预处理后期望目标归属值输出(部分),实验结果与分析,107,测试集的实际目标输出值(部分),实验结果与分析,108,识别结果,同一类别不同图像间的不变矩是相同或相近的,不同类别的图像其不变矩特征有着比较明显的差异,选择不变矩作为图像的识别特征是合理的,实验结果与分析,109,均方根误差曲线，趋于平稳时的均方根误差值为0.0692,实验结果与分析,110,3.6 典型反馈神经网络 Hopfield网络,反馈神经网络（Feedback Neural Network）是一种,动态网络,，需要工作一段时间才能达到稳定,该网络主要用于,联想记忆和优化计算,反馈神经网络首先由Hopfield提出，通常称为Hopfield网，引入“,能量函数,”概念，给出了神经,网络稳定性的判断依据,根据网络的输出是离散量或是连续量，Hopfield网络也分为,离散,（1982年）和,连续,（1984年）两种,111,3.6 典型反馈神经网络 Hopfield网络,在反馈神经网络系统中，输入数据决定反馈网络系统的,初始状态,经过一系列状态转移后，如果系统能逐渐收敛于,稳定状态,，那么这个稳定状态就是反馈神经网络经计算后的,输出结果,一个反馈神经网络是否收敛于稳定状态，网络,稳定性,问题是反馈神经网络的,最重要问题,属于无教师学习：当输入的实例模式进入神经网络后，网络,按预先设定的规则（Hebb）自动调整权值,112,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,离散Hopfield神经网络（DHNN）是离散时间系统,是一个单层网络,共有n个神经元结点,网络是全互连的,每个结点输出均连接到其他神经元的输入,所有其他神经元的输出均连到该神经元的输入,113,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,离散Hopfield神经网络结构,114,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,对每一个神经元结点，工作方式同前，即,其中 为阈值，为输出变换函数,若 则相应的DHNN称为,无自反馈的DHNN,，否则，称为有自反馈的DHNN。,后面讨论均为前者,115,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,对于离散Hopfield网络，通常取为,二值函数,即,或,116,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,若反馈神经网络在k=0时有任意输入数据 ，从初态 开始，存在某一个有限时刻k，从k时刻之后的神经网络状态不再发生变化，即有,则称,神经网络是稳定,的,k时刻的网络状态称为神经网络的,稳定状态,，也就是,神经网络的输出结果,只有,当反馈神经网络是,稳定,的，,才能,得出,稳定的计算输出结果,117,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,DHNN的稳定性与DHNN工作方式有关,DHNN两种工作方式,异步方式（串行方式）,每次只有一个神经元结点进行状态的调整计算，其他结点的状态均保持不变，即,其调整次序可随机选定，也可按规定的次序进行,118,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,DHNN两种工作方式,同步方式,所有的神经元结点同时调整状态，即,其矩阵形式为,其中：是向量,W,是由 所组成的 矩阵,是向量函数，它表示,119,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,该网络是动态反馈网络,其,输入,是网络的状态,初值,输出,是网络的,稳定状态,120,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,稳定性和吸引子,若将稳定与某种优化计算的目标函数相对应，并作为目标函数的极小点,则初态朝稳态的收敛过程便是,优化计算,过程,该,优化计算,是在网络演变过程中,自动完成,的,定义,：若网络的状态 满足 ，则称 为网络的,稳定点,或,吸引子,121,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,关于DHNN的串行（异步）稳定性定理,定理（Hopfield 定理）,：设N是一个n阶神经网络，则N由（,W,）唯一定义。对于离散Hopfield 网络，若按,异步方式,调整状态，且,W为一对称矩阵,，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则,对于任意初态，网络都最终收敛到一个吸引子,（稳定状态）。,122,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,关于DHNN的并行（同步）稳定性定理,定理（Hopfield 定理）,：对于离散Hopfield 网络，若按,同步方式,调整状态，且连接权矩阵,W为非负定对称阵,，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则,对于任意初态，网络都最终收敛到一个吸引子,（稳定状态）。,123,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,关于DHNN的并行（同步）稳定性定理,定理（Goles定理）,：对于离散Hopfield 网络，若按,同步方式,调整状态，且连接权矩阵,W为对称阵,，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则,对于任意初态，网络都最终收敛到一个吸引子,（稳定状态）或,状态空间中长度小于等于2的极限环,。长度为2的极限环上的状态满足,124,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,若变换函数取符号函数，则稳定点（稳定状态、吸引子）应满足,或,对于符号函数，一般可以取阈值,0,125,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,例,：网络只有两个节点，变换函数取符号函数，阈值,0。串行方式，,W,对称,可见，,W对称，则有稳定点,。网络有2个节点，共有4个状态，即（1，1）（1，1）（1，1）（1，1），按稳定点的判断方法，（1，1）（1，1）是稳定点,126,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,例,：网络有三个节点，权矩阵为,127,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,W,满足对称且对角线非负，所以有稳定点,网络有3个结点，所以共有8个状态（阈值取为0）,其中只有2个状态即（1，1，1）和（1，1，1）是稳定状态，因为其满足稳定点判断公式，其余状态都会收敛到与之邻近的稳定状态上（如下图）,128,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,状态演变图,129,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,这种网络有一定的纠错能力，由上图可见,如测试向量是（1，1，1），（1，1，1）和（1，1，1），它们都会收敛到稳态（1，1，1）上,如测试向量是（1，1，1），（1，1，1）和（1，1，1），它们都会收敛到稳态（1，1，1）上,130,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,为讨论网络的,稳定性,，定义神经网络系统的,能量函数,（,Lyapunov函数,）如下：,异步方式,同步方式,131,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,由于神经元结点的状态只能取1和1（或1和0）两种状态，因此上述定义的,能量函数 是有界的,令,可推导出，在,异步方式下如,W,为对称阵,；在,同步方式下如W为非负定对称阵,，则不论出现什么情况，均有 ，即 随状态变化而单调递减，由于 有下界，所以 将收敛到能量极小点，不再变化，为一个常数，则,网络将最终收敛到一个吸引子,132,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,作为一个迭代网络，神经元输出状态被容许一次一次地进行更新直到收敛,当能量函数达到最小值并且再计算时,没有神经元状态改变，就认为网络已经收敛,当按,规定方式,进行更新时，Hopfield网络总是收敛到,能量最小状态,，并且,一旦进入这种状态，任一神经元的状态都不会改变,133,3.6 典型反馈神经网络 Hopfield网络,离散Hopfield网络,对于同步方式，对连接权矩阵W的要求更高，,若不满足W为非负定对称矩阵,的要求，则神经网络可能出现,自持振荡即极限环,由于异步工作方式比同步方式有更好的稳定性能，实用时较多采用异步工作方式,异步方式的主要缺点是失去了神经网络并行处理的优点,134,3.6 典型反馈神经网络 Hopfield网络,