人工神经网络理论设计及应用教学课件整本书电子教案全套教学教程电子教案.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,北京工商大学信息工程学院,人工神经网络,第一章,:,绪论,2,1,绪 论,3,1.1,概述,人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。,地球是宇宙的骄子,，,人类是地球的宠儿,，,大脑是人的主宰,。,现在是探索脑的奥秘，从中获得智慧，在其启发下构造为人类文明服务的高级智能系统的时候了！,4,(,一,),记忆与联想能力,(,二,),学习与认知能力,(,三,),信息加工能力,(,四,),信息综合能力,(,五,),信息处理速度,一、人脑与计算机信息处理能力的比较,5,二、人脑与计算机信息处理机制的比较,(,一,),系统结构,(,二,),信号形式,(,三,),信息存储,(,四,),信息处理机制,6,三、什么是人工神经网络,生物神经网络,人类的大脑大约有,1.4,1011,个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。,人工神经网络,以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（,Artificial Neural Network,，缩写,ANN,）。,7,人工神经网络定义,神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。,人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。,人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。,8,1.2,神经网络的基本特征,结构特征：,并行式处理,分布式存储,容错性,能力特征：,自学习,自组织,自适应性,9,1.3,神经网络的基本功能,联想记忆功能,10,1.3,神经网络的基本功能,非线性映射功能,11,1.3,神经网络的基本功能,分类与识别功能,12,1.3,神经网络的基本功能,优化计算功能,13,知识处理功能,1.3,神经网络的基本功能,14,第一章小结,(1),什么是人工神经网络,(2),人工神经网络的基本特征,(3),人工神经网络的基本功能,第二章 神经网络基础知识,生物神经元,人工神经元模型,人工神经网络模型,神经生理学和神经解剖学的研究结果表明，神经元,(Neuron),是脑组织的基本单元，是人脑信息处理系统的最小单元。,生物神经元,生物神经网络,2.1,人工神经网络的生物学基础,2.1.1,生物神经元,生物神经元在结构上由,:,细胞体,(Cell body),、,树突,(Dendrite),、,轴突,(Axon),、,突触,(Synapse),四部分组成。用来完成神经元间信息的接收、传递和处理。,人工神经网络的生物学基础,人工神经网络的生物学基础,2.1.2,生物神经元的信息处理机理,一、信息的产生,神经元间信息的产生、传递和处理是一种电化学活动。,神经元状态：,静息,兴奋,抑制,膜电位：,极 化,去极化,超极化,人工神经网络的生物学基础,人工神经网络的生物学基础,2.1.2,生物神经元的信息处理机理,二信息的传递与接收,人工神经网络的生物学基础,2.1.2,生物神经元的信息处理机理,三、信息的整合,空间整合：,同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。,时间整合：,各,输入脉冲,抵达神经元的时间先后不一样。,总的突触后膜电位为一段时间内的累积。,人工神经网络的生物学基础,2.1.3,生物神经网络,由多个生物神经元以确定方式和拓扑结构,相互连接即形成生物神经网络。,生物神经网络的功能不是单个神经元信息,处理功能的简单叠加。,神经元之间的突触连接方式和连接强度不,同并且具有可塑性，这使神经网络在宏观,呈现出千变万化的复杂的信息处理能力。,人工神经网络的生物学基础,2.2,神经元的人工模型,神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元,(,节点,),从三个方面进行模拟,:,节点本身的信息处理能力,节点与节点之间连接,(,拓扑结构,),相互连接的强度,(,通过学习来调整,),决定人工神经网络整体性能的三大要素,节点本身的信息处理能力,(,数学模型,),节点与节点之间连接,(,拓扑结构,),相互连接的强度,(,通过学习来调整,),神经元的人工模型,2.2.1,神经元的建模,(1),每个神经元都是一个多输入单输出的信息处理单元；,(2),神经元输入分兴奋性输入和抑制性输入两种类型；,(6),神经元本身,是非时变的,，即其突触时延和突触强度,均为常数。,(3),神经元具有空间整合特性和阈值特性；,(4),神经元输入与输出间有,固定的时滞,主要取决于突触延搁；,(5),忽略,时间整合作用和不应期；,模型的六点假设：,神经元的人工模型,假设,1,：多输入单输出,图,(a),表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许,多,的,输入,信号，图中每个输入的大小用确定数值,x,i,表示，它们同时输入神经元,j,，,神经元的单输出,用,o,j,表示。,神经元的人工模型,假设,2,：输入类型：兴奋性和抑制性,生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。,图,(b),中对神经元的每一个输入都有一个加权系数,w,ij,，,称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制,，其,大小,则代表了突触的不同连接强度。,神经元的人工模型,假设,3,：空间整合特性和阈值特性,作为,ANN,的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图,(c),表示组合输人信号的,“,总和值,”,，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。,神经元的人工模型,神经元的输出,图,(d),人工神经元的输出也同生物神经元一样仅有一个，如用,o,j,表示神经元输出，则输出与输入之间的对应关系可用图,(d),中的某种非线性函数来表示，这种函数一般都是非线性的。,神经元的人工模型,神经元模型示意图,神经元的人工模型,2.2.2,神经元的数学模型,ij,输入输出间的突触时延；,T,j,神经元,j,的阈值；,w,ij,神经元,i,到,j,的突触连接系数或称,权重值；,f,(),神经元转移函数。,(2.1),(2.2),神经元的人工模型,(2.3),net,j,=,W,j,T,X,W,j,=(,w,1,w,2,w,n,),T,X=,(,x,1,x,2,x,n,),T,令,x,0,=,-1,，,w,0,=,T,j,则有,-,T,j,=,x,0,w,0,(2.4),2.2.2,神经元的数学模型,神经元的人工模型,(2.5),o,j,=,f,(,net,j,)=,f,(,W,j,T,X,),(2.6),2.2.2,神经元的数学模型,神经元的人工模型,2.2.3,神经元的转移函数,神经元各种不同数学模型的主要区别在于采用了不同的,转移函数,，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的,三大要素之一,，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有,4,种形式。,神经元的人工模型,(1),阈值型转移函数,1 x,0,f,(,x,),=,(2.7),0 x,0,2.2.3,神经元的转移函数,神经元的人工模型,(2),非线性转移函数,2.2.3,神经元的转移函数,神经元的人工模型,(3),分段线性转移函数,0 x,0,f(x)=,cx,0,x,x,c,(2.9),1,x,c,x,2.2.3,神经元的转移函数,神经元的人工模型,(4),概率型转移函数,温度参数,2.2.3,神经元的转移函数,神经元的人工模型,节点本身的信息处理能力,(,数学模型,),节点与节点之间连接,(,拓扑结构,),相互连接的强度,(,通过学习来调整,),人工神经网络模型,2.3,人工神经网络模型,分类：,按网络连接的拓扑结构分类,层次型结构,互连型网络结构,按网络内部的信息流向分类,前馈型网络,反馈型网络,人工神经网络模型,2.3.1,网络拓扑结构类型：,层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层,顺序,相连。,互连型网络结构：网络中,任意两个节点之间都可能存在连接,路径,.,人工神经网络模型,2.3.1,网络拓扑结构类型,层次型结构,2.3,人工神经网络模型,人工神经网络模型,输出层到输入层有连接,人工神经网络模型,2.3.1,网络拓扑结构类型,层内有连接层次型结构,2.3.1,网络拓扑结构类型,人工神经网络模型,全互连型结构,2.3.1,网络拓扑结构类型,人工神经网络模型,局部互连型网络结构,2.3.1,网络拓扑结构类型,人工神经网络模型,2.3.2,网络信息流向类型,前馈型网络,前馈,:,网络信息处理的方向是从输入层到各隐层再到输出层逐层进行,反馈型网络,在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。,人工神经网络模型,前馈型网络,2.3.2,网络信息流向类型,人工神经网络模型,反馈型网络,人工神经网络模型,2.3.2,网络信息流向类型,节点本身的信息处理能力,(,数学模型,),节点与节点之间连接,(,拓扑结构,),相互连接的强度,(,通过学习来调整,),神经网络学习,神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。,2.4,神经网络学习,神经网络学习,神经网络的学习类型：,有导师学习,(,有监督学习,),无导师学习,(,无监督学习,),死记式学习,2.4,神经网络学习,神经网络学习,学习的过程（权值调整的一般情况）,神经网络学习,2.4,神经网络学习,第二章小结,重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。,(1),生物神经元的信息处理,(2),人工神经元模型,(3),人工神经网络模型,(4),神经网络学习,第三章 前馈人工神经网络,误差反传（,BP,）,算法的改进与,BP,网络设计,3.4,基于,BP,算法的多层前馈网络模型,三层,BP,网络,输入层,隐层,输出层,模型的数学表达,输入向量：,X,=(,x,1,x,2,x,i,x,n,),T,隐层输出向量：,Y,=(,y,1,y,2,y,j,y,m,),T,输出层输出向量：,O,=(,o,1,o,2,o,k,o,l,),T,期望输出向量,：,d,=(,d,1,d,2,d,k,d,l,),T,输入层到隐层之间的权值矩阵：,V=,(,V,1,V,2,V,j,V,m,),隐层到输出层之间的权值矩阵：,W=,(,W,1,W,2,W,k,W,l,),各个变量之间如何建立联系，来描述整个网络？,神经网络的学习,学习的过程：,神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。,学习的本质：,对可变权值的动态调整,学习规则：,权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,BP,算法是一种学习规则,BP,算法的基本思想,学习的类型：有导师学习,核心思想：,将输出误差,以某种形式,通过隐层向输入层逐层反传,学习的过程：,信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP,算法的学习过程,正向传播：,输入样本输入层各隐层输出层,判断是否转入反向传播阶段：,若输出层的实际输出与期望的输出（教师信号）不符,误差反传,误差以某种形式在各层表示修正各层单元的权值,网络输出的误差减少到可接受的程度,进行到预先设定的学习次数为止,建立权值变化量与误差之间的关系,输出层与隐层之间的连接权值调整,隐层和输入层之间的连接权值调整,j=0,1,2,m;k=1,2,l,(3.4.9a),i=0,1,2,n;j=1,2,m,(3.4.9b),式中负号表示梯度下降，常数,(,0,1,),表示比例系数，反映了训练速率。可以看出,BP,算法属于,学习规则类，这类算法常被称为误差的梯度下降,(Gradient Descent),算法。,BP,算法的程序实现,(1),初始化；,(4),计算各层误差信号；,(5),调整各层权值；,(6),检查是否对所有样本完成一次,轮训；,(7),检查网络总误差是否达到精,度要求。,(2),输入训练样本对,X,X,p,、,d,d,p,计算各层输出；,(3),计算网络输出误差；,BP,算法的程序实现,然后根据总误差计算各层的误差信号并调整权值。,另一种方法是在所有样本输入之后，计算网络的总误差：,多层前馈网的主要能力,(1),非线性映射能力,多层前馈网能学习和存贮大量输入,-,输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供,BP,网络进行学习训练，它便能完成由,n,维输入空间到,m,维输出空间的非线性映射。,多层前馈网的主要能力,(2),泛化能力,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。,(3),容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,误差曲面与,BP,算法的局限性,误差函数的可调整参数的个数,n,w,等于各层权值数加上阈值数，即：,误差,E,是,n,w,+1,维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着,n,w,个权值，因此称这样的空间为误差的权空间。,误差曲面的分布,BP,算法的局限性,曲面的分布特点,-,算法的局限性,(1),存在平坦区域,-,误差下降缓慢，影响收敛速度,(2),存在多个极小点,-,易陷入局部最小点,曲面分布特点,1,：存在平坦区域,平坦误差的梯度变化小 接近于零,存在平坦区域的原因分析,接近于零的情况分析,造成平坦区的原因：,各节点的净输入过大,对应着误差的某个谷点,平坦区,曲面分布特点,2,：存在多个极小点,误差梯度为零,多数极小点都是局部极小，即使是全局极小往往也不是唯一的。,单权值,双权值,曲面分布特点,2,：存在多个极小点,BP,算法,以误差梯度下降为权值调整原则,误差曲面的这一特点,使之无法辨别极小点的性质,导致的结果：,因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。,标准,BP,算法的改进引言,误差曲面的形状固有的,算法的作用是什么？,调整权值，找到最优点,那么如何更好地调整权值？,利用算法使得权值在更新的过程中，走合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等,如何操作？,需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。,标准的,BP,算法内在的缺陷：,易形成局部极小而得不到全局最优；,训练次数多使得学习效率低，收敛速度慢；,隐节点的选取缺乏理论指导；,训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中,3,种较常用的方法。,3.5,标准,BP,算法的改进,改进,1,：增加动量项,改进,2,：自适应调节学习率,改进,3,：引入陡度因子,改进,1,：增加动量项,提出的原因：,标准,BP,算法只按,t,时刻误差的梯度降方向调整，而没有考虑,t,时刻以前的梯度方向,从而常使训练过程发生振荡，收敛缓慢。,方法：,为动量系数，一般有,(,0,，,1,),改进,1,：增加动量项,实质：,从前一次权值调整量中取出一部分迭加到本次权值调整量中,作用：,动量项反映了以前积累的调整经验，对于,t,时刻的调整起阻尼作用。,当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。,改进,2,：自适应调节学习率,提出的原因：,标准,BP,算法中，学习率,也称为步长，确定一个从始至终都合适的最佳学习率很难。,平坦区域内，,太小会使训练次数增加；,在误差变化剧烈的区域，,太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。,改进,2,：自适应调节学习率,基本思想：,自适应改变学习率，使其根据环境变化增大或减小。,基本方法：,设一初始学习率，若经过一批次权值调整后使总误差,，则本次调整无效，且,=,(,1,),。,改进,3,：引入陡度因子,提出的原因：,误差曲面上存在着平坦区域。,权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。,基本思想：,如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。,改进,3,：引入陡度因子,基本方法：,在原转移函数中引入一个陡度因子,当发现,E,接近零而,d-o,仍较大时，可判断已进入平坦区，此时令,1,；,当退出平坦区后，再令,=1,。,改进,3,：引入陡度因子,作用分析：,1,：,net,坐标压缩了,倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的,net,退出饱和值。,=1,：,转移函数恢复原状，对绝对值较小的,net,具有较高的灵敏度。,应用结果表明该方法对于提高,BP,算法的收敛速度十分有效。,总结,基于,BP,算法的多层前馈网络模型,BP,算法的实现,基本思想,推导过程,程序实现,BP,学习算法的功能,BP,学习算法的局限性,BP,学习算法的改进,3.6 BP,网络设计基础,一、训练样本集的准备,1.,输入输出量的选择,2.,输入量的提取与表示,3.,输出量的表示,二、输入输出数据的归一化,三、网络训练与测试,1,输出量的选择,输出量,:,代表系统要实现的功能目标,系统的性能指标,分类问题的类别归属,非线性函数的函数值,一、训练样本集的准备,输入量的选择,输入量选择的两条基本原则,必须选择那些对输出影响大且能够检测或提取的变量,各输入变量之间互不相关或相关性很小,一、训练样本集的准备,输入输出量的性质,从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。,数值变量,的值是数值确定的连续量或离散量。,语言变量,是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。,当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。,一、训练样本集的准备,2.,输入量的提取与表示,X,C,=(,111100111,),T,X,I,=(,111100111,),T,X,T,=(,111100111,),T,(1),文字符号输入,一、训练样本集的准备,（,2,）曲线输入,p=1,2,P,一、训练样本集的准备,(3),函数自变量输入,一般有几个输入量就设几个分量，,1,个输入分量对应,1,个输入层节点。,(4),图象输入,在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。,一、训练样本集的准备,3.,输出量的表示,(1)“,n,中取,1,”,表示法,“,n,中取,1,”,是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取,1,，其余,n-1,个分量全取,0,。例如，用,0001,、,0010,、,0100,和,1000,可分别表示优、良、中、差,4,个类别。,(2)“,n-1,”,表示法,如果用,n-1,个全为,0,的输出向量表示某个类别，则可以节省一个输出节点。例如，用,000,、,001,、,010,和,100,也可表示优、良、中、差,4,个类别。,(3),数值表示法,对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。,一、训练样本集的准备,二、输入输出数据的归一化,归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在,0,，,1,或,-1,，,1,区间内。,进行归一化的主要原因：,归一化的方法：,进行归一化的主要原因：,网络的各个输入数据常常具有不同的,物理意义和不同的量纲,，归一化给各输入分量以同等重要的地位；,BP,网的神经元均采用,Sigmoid,转移函数，变换后可防止因净输入的绝对值过大而使神经元输出,饱和,，继而使权值调整进入误差曲面的平坦区；,Sigmoid,转移函数的输出在,01,或,-11,之间。,教师信号,如不进行归一化处理，势必使数值大的输出分量,绝对误差,大，数值小的输出分量绝对误差小。,二、输入输出数据的归一化,归一化的方法：,将输入输出数据变换为,0,，,1,区间的值常用以下变换式,其中，,x,I,代表输入或输出数据，,x,min,代表数据变化的最小值，,x,man,代表数据的最大值。,将输入输出数据变换为,-1,，,1,区间的值常用以下变换式,其中，,x,mid,代表数据变化范围的中间值。,二、输入输出数据的归一化,三、网络训练与测试,网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。,三、网络训练与测试,在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。,三、网络训练与测试,4.5,自适应共振理论,思考并回答以下几个问题,神经网络的学习和记忆特性,学习过程的本质？,网络将知识存储（记忆）在什么地方？,对于感知器,/BP,网络,/SOM,网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？,自适应共振理论（,ART,）,历史,1976,年，美国,Boston,大学学者,G.A.Carpenter,提出自适应共振理论,(Adaptive Resonance Theory,，缩写为,ART),，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，,ART,就是这一理论的核心部分。随后,G.A.Carpenter,又与,S.Grossberg,提出了,ATR,网络。,共振现象的一些例子,自适应共振理论,共振现象,鱼洗,寺院无人敲而响的磬,军队过桥,雪崩,人类认知（图像）,当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。,自适应共振理论,ART,网络学习算法的基本流程,环境输入模式,与储存的典型向量模式进行比较,神经网络的连接权值,选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。,相似度的参考门限,需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。,C,比较层,R,识别层,Reset,复位信号,G,1,和,G,2,逻辑控制信号,4.5.1.1,网络系统结构,4.5.1 ART,型网络,4.5.1.1,网络系统结构,(1)C,层结构,该层有,n,个节点，每个节点接受来自,3,个方面的信号：,来自外界的输入信号,x,i,；,来自,R,层获胜神经元的外星向量的返回信号,T,j,；,来自,G,1,的控制信号。,C,层节点的输出,c,i,是根据,2/3,的,“,多数表决,”,原则产生的，即输出值,c,i,与,x,i,、,t,ij,、,G,1,3,个信号中的多数信号值相同。,G,1,=1,，,反馈回送信号为,0,，,C,层输出应由输入信号决定，有,C=X,。,反馈回送信号不为,0,，,G,1,=0,，,C,层输出应取决于输入信号与反馈信号的比较情况，如果,x,i,=,，则,c,i,=,x,i,。,否则,c,i,=0,。,网络系统结构,4.5.1.1,网络系统结构,（,2,）,R,层结构,R,层有,m,个节点，用以表示,m,个输入模式类。,m,可动态增长，以设立新模式类。,由,C,层向上连接到,R,第,j,个节点的内星权向量用,B,j,=,（,b,1j,，,b,2j,，,b,nj,）,表示。,C,层的输出向量,C,沿,m,个内星权向量,B,j,(,j,=1,2,m,),向前传送，到达,R,层各个神经元节点后经过竞争在产生获胜节点,j,*,，,指示本次输入模式的所属类别。,获胜节点输出,=1,，其余节点输出为,0,。,R,层各模式类节点的典型向量。,网络系统结构,4.5.1.1,网络系统结构,(3),控制信号,控制信号,G,2,的作用,是检测输入模式,X,是否为,0,，它等于,X,各分量的逻辑,“,或,”,，如果,x,i,(,i,=1,2,n,),为全,0,，则,G,2,=0,，,否则,G,2,=1,。,控制信号,G,1,的作用,是在网络开始运行时为,1,，以使,C=X,，,其后为,0,以使,C,值由输入模式和反馈模式的比较结果决定。设,R,层输出向量各分量的逻辑,“,或,”,用,R,0,表示，则信号,G,1,=,，当,R,层输出向量,R,的各分量为全,0,而输入向量,X,不是零向量时，,G,1,=1,，,否则,G,1,=0,。,控制信号,Reset,的作用,是使,R,层竞争获胜神经元无效，如果根据某种事先设定的测量标准，与,X,未达到预先设定的相似度,，,表明两者未充分接近，于是系统发出,Reset,信号使竞争获胜神经元无效。,网络系统结构,4.5.1.2,网络运行原理,相似程度可能出现的两种情况：,相似度超过参考门限,选该模式类作为当前输入模式的代表类。权值调整规则是，,相似度超过参考门限的模式类调整其相应的内外星权向量，,以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；,对其它权值向量则不做任何变动。,相似度不超过门限值,需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。,网络运行原理,4.5.1.2,网络运行原理,对于每一个输入，模式网络运行过程可归纳为四个阶段：,(1),匹配阶段,网络在没有输入之前处于等待状态，此时输入端,X,0,，,因此信号,G,2,0,，,R,0,=0,。,当输入不全为,0,的模式,X,时，,G,2,1,，,R,0,=0,，,使得,G,1,=1,。,G,1,为,1,时允许输入模式直接从,C,层输出，并向前传至,R,层，与,R,层节点对应的所有内星向量,B,j,进行匹配计算：,j=1,2,，,m,(4.22),选择具有最大匹配度,(,即具有最大点积,),的竞争获胜节点：,使获胜节点输出,=1,，其它节点输出为,0,。,网络运行原理,(2),比较阶段,R,层输出信息通过外星向量返回到,C,层。,R,层获胜节点所连的外星权向量激活，从节点,j,*,发出的,n,个权值信号返回到,C,层的,n,个节点。此时，,R,层输出不全为零，,R,0,=1,，而,G,1,=0,，,所以,C,层最新输出状态,C,取决于由,R,层返回的外星权向量和网络输入模式,X,的比较结果，即，,i=1,2,n,。,由于外星权向量是,R,层模式类的典型向量，该比较结果,C,反映了在匹配阶段,R,层竞争排名第一的模式类的典型向量与当前输入模式,X,的相似程度。相似程度的大小可用相似度,N,0,反映，定义为：,设输入模式样本中的非零分量数为：,网络运行原理,4.5.1.2,网络运行原理,4.5.1.2,网络运行原理,(2),比较阶段,用于比较的警戒门限为,，,在,0,1,范围取值,。检查输入模式与模式类典型向量之间的相似性是否低于警戒门限，如果有,N,0,/N,1,表明,X,与获胜节点对应的类别模式非常接近，称,X,与,发生,“,共振,”,，,第一阶段的匹配结果有效，网络进入学习阶段。,网络运行原理,4.5.1.2,网络运行原理,(3),搜索阶段,网络发出,Reset,重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于,R,层中的竞争获胜的神经元被抑制，从而再度出现,R,0,=0,，,G,1,=,1,，,因此网络又重新回到起始的匹配状态。,由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程度排在第二的节点，将该节点对应的外星权向量与输入模式进行匹配计算。如果对,R,层所有的模式类，在比较阶段的相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来代表并存储该模式类，为此将其内星向量 设计成当前输入模式向量，外星向量 各分量全设为,1,。,网络运行原理,(4),学习阶段,在学习阶段要对发生共振的获胜节点对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。,ART,网络运行中存在两种记忆方式：,短期记忆：,C,层和,R,层输出信号称为短期记忆，用,STM,（,Short time memory,）,表示，短期记忆在运行过程中会不断发生变化；,长期记忆：,两层之间的内外星权向量称为长期记忆，用,LTM,(Long time memory),表示，长期记忆在运行过程中不会变化。,网络运行原理,4.5.1.2,网络运行原理,4.5.1.3,网络的学习算法,ART,网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。,训练可按以下步骤进行：,(1),网络初始化,从,C,层向,R,层的内星权向量,B,j,赋予相同的较小数值，如,(4.25),从,R,层到,C,层的外星权向量,T,j,各分量均赋,1,(4.26),4.5.1.3,网络的学习算法,(2),网络接受输入,给定一个输入模式，,X,(,x,1,x,2,，,x,n,),，,x,i,(,0,1,),n,。,(3),匹配度计算,对,R,层所有内星向量,B,j,计算与输入模式,X,的匹配度：,，,j=1,2,，,m,。,(4),选择最佳匹配节点,在,R,层有效输出节点集合,J,*,内选择竞争获胜 的最佳匹配节点,j,*,，,使得,(5),相似度计算,R,层获胜节点,j,*,通过外星送回获胜模式类的典型向量，,C,层输出信号给出对向量和,X,的比较结果，,i=1,2,n,，,由此结果可计算出两向量的相似度为,4.5.1.3,网络的学习算法,(6),警戒门限检验,如果,N,0,/N,1,，,表明,X,应归为代表的模式类，转向步骤,(8),调整权值。,4.5.1.3,网络的学习算法,(8),调整网络权值,修改,R,层节点,j,*,对应的权向量，网络的学习采用了 两种规则，外星向量的调整按以下规则,:,i=1,2,n,；,j,*,J,*,(4.27),(7),搜索匹配模式类,若有效输出节点集合,J,*,不为空,，转向步骤,(4),重选匹配模式类；若,J,*,为空集,，需在,R,层增加一个节点。设新增节点的序号为,n,c,，,应使,i=1,2,n,此时有效输出节点集合为,J,*,=,1,2,m,m+1,m+n,c,转向步骤,(2),输入新模式。,内星向量的调整按以下规则,:,i=1,2,n,(4.28),4.5.1.3,网络的学习算法,ART,网络的特点：,非离线学习,即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。,每次最多只有一个输出节点为,l,每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。,通过调整警戒门限的大小可调整模式的类数,小，模式的类别少，,大则模式的类别多。,4,个输入模式向量为：,设,=0.7,，取初始权值,b,ij,=,1/,(,1+n,)=,1/26,t,ij,=1.,例一 模式分类,例一 模式分类,4.5.1.4,ART,网络的应用,第,1,步：,输入模式,X,A,，将,R,层的,4,个节点中输出最大的一个命名为节点,1,，有,j,*,=1,。,由于初始化后,t,ij,=1,，,所以相似度,N,0,/N,1,=1,，,大于警戒门限,，故第一个模式被命名为第一类模式。按式,(4.27),修改节点,1,的内星权向量，得,按式,(4.28),修改节点,1,的外星权向量，得,其余仍为初始值,1/26,。对比输入模式,X,A,，,可以看出，以上调整结果将模式,X,A,存储在神经元,1,的内外星权向量中。,例一 模式分类,第,2,步：,输入模式,X,B,时，,R,层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式,T,1,=X,A,的相似度，得,N,0,/N,1,=,5/9,节点,2,净输入为,1.101,节点,1,获胜。计算,T,1,与,X,的相似度，得,N,0,/N,1,=,5/13,=0.7,节点,1,失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点,2,作为获胜节点。于是计算,X,C,与代表,X,B,的,T,2,的相似度，得,N,0,/N,1,=9,/13,=0.7,该结果仍不能满足要求，只能把模式视为第,3,类模式。并按式,(4.27),和式,(4.28),修改节点,3,的内外星权向量。,例一 模式分类,第,4,步,：输入模式,X,D,后，节点,1,、节点,2,和节点,3,参加竞争，结果是节点,3,获胜，计算模式,X,D,与,X,C,的相似度，得,N,0,/N,1,=13/17=0.765,=0.7,于是,X,D,归入已存储的,X,C,类，并按式,(4.27),和式,(4.28),修改节点,3,的内外星权向量。,例一 模式分类,例一 模式分类,例一 模式分类,注意！,值的选择对分类过程的影响很大。,值过大，导致分类剧增。,值太小，则不同的模式均划为同一类别。,例一 模式分类,例二 带噪声模式分类,例二 带噪声模式分类,4.6,本章小结,4.6,本章小结,(1),竞争学习策略,竞争学习是自组织网络中最常采用的一种学习策略，,胜者为王,是竞争学习的基本算法。该算法将输入模式向量同竞争层所有节点对应的权向量进行比较，将,欧式距离最小,的判为竞争获胜节点，并,仅允许获胜节点调整权值,。按照胜者为王的竞争学习算法训练竞争层的结果必将使各节点的权向量成为输入模式的,聚类中心,。,4.6,本章小结,(2)SOM,神经网络,SOM,网络模型中的竞争机制具有生物学基础。,SOM,网的结构特点是输出层神经元可排列成线阵或平面阵。,在网络训练阶段，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作不同程度的调整，调整力度依邻域内各节点距获胜节点的远近而逐渐衰减。,网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经细胞，对应的内星权向量成为各输入模式类的中心向量。,当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而在输出层形成能够反映样本模式类分布情况的有序特征图。,4.6,本章小结,(3)CPN,神经网络,CPN,神经网络是由,Kohonen,的自组织网和,Grossberg,的外星网组合而成的，其拓扑结构与三层,BP,网相同。,CPN,网的隐层为竞争层，按照胜者为王规则进行竞争。只有竞争获胜节点可以调整其内外星权向量，内星权向量采用无导师的竞争学习算法进行调整，调整的目的是使权向量不断靠近当前输入模式类，从而将该模式类的典型向量编码到获胜神经元的内星权向量中。输出层采用有导师的外星学习规则调整，调整的目的是使外星权向量不断靠近并等于期望输出，从而将该输出编码到外星权向量中。,4.6,本章小结,(4)ART,神经网络,ART,网接的运行分为,4,个阶段：,匹配阶段接受来自环境的输入模式，并在输出层与所有存储模式类进行匹配竞争，产生获胜节点；,比较阶段按参考门限检查该输入模式与获胜模式类的典型向量之间的相似程度，相似度达标进入学习阶段，不达标则进入搜索阶段；,搜索阶段对相似度不超过参考门限的输入模式重新进行模式类匹配，如果