自组织竞争神经网络SOM.ppt

*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第四章 自组织竞争型神经网络,本章主要介绍自组织竞争型神经网络的结构、学习算法，及相关理论。,翡翠棋牌 收集整理,第四章自组织竞争型神经网络,4.1,前言,4.2,竞争学习的概念和原理,4.3,自组织特征映射神经网络,4.4,自组织特征映射神经网络,的设计,4.5,对偶传播神经网络,4.6,小结,2,4.1,前言,在生物神经系统中，存在着一种侧抑制现象，即一个神经细胞兴奋以后，会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间出现竞争，其结果是某些获胜，而另一些则失败。表现形式是获胜神经细胞兴奋，失败神经细胞抑制。,自组织竞争型神经网络就是模拟上述生物神经系统功能的人工神经网络。,3,自组织竞争型神经网络是一种无教师监督学习，具有自组织功能的神经网络。网络通过自身的训练，能自动对输入模式进行分类。这一点与,Hopfield,网络的模拟人类功能十分相似，自组织竞争型神经网络的结构及其学习规则与其他神经网络相比有自己的特点。,在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。,4,在学习算法上，它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。,竞争型神经网络构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则表示对输入模式的分类。,5,自组织竞争人工神经网络是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。,与,BP,网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心,竞争层，又是许多种其他神经网络模型的重要组成部分。,6,常用的自组织网络,自组织特征映射,(Self-Organizing Feature Map),网络,对偶传播,(Counter propagation),网络,返回,7,自组织神经网络的典型结构,竞争层,输入层,4.2,竞争学习的概念与原理,8,分类,分类是在类别知识等导师信号的指,导下，将待识别的输入模式分配到各自的模,式类中去。,聚类,无导师指导的分类称为聚类，聚类,的目的是将相似的模式样本划归一类，而将,不相似的分离开,。,4.2,竞争学习的概念与原理,竞争学习的概念,9,相似性测量,欧式距离法,两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最大值,T,，则最大欧式距离,T,就成为一种聚类判据，同类模式向量的距离小于,T,，两类模式向量的距离大于,T,。,10,相似性测量,余弦法,两个模式向量越接近，其夹角越小，余弦越大。当两个模式向量完全相同时，其余弦夹角为,1,。如果对同一类内各个模式向量间的夹角作出规定，不允许超过某一最大夹角,a,，则最大夹角就成为一种聚类判据。同类模式向量的夹角小于,a,，两类模式向量的夹角大于,a,。余弦法适合模式向量长度相同和模式特征只与向量方向相关的相似性测量。,11,竞争学习原理,竞争学习规则,Winner-Take-All,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为,Winner Take All,。,4.2,竞争学习的概念与原理,12,1.,向量归一化,首先将当前输入模式向量,X,和竞争层中各神经元对应的内星向量,W,j,全部进行归一化处理；,(j=1,2,m),13,向量归一化之,前,14,向量归一化之,后,15,竞争学习原理,竞争学习规则,Winner-Take-All,2.,寻找获胜神经元,当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。,欲使两单位向量最相似，须使其点积最大。即：,16,从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：,竞争学习规则,Winner-Take-All,17,3.,网络输出与权值调整,j,j*,步骤,3,完成后回到步骤,1,继续训练，直到学习率衰减到,0,。,竞争学习规则,Winner-Take-All,18,竞争学习的几何意义,19,*,1,W,*,j,W,*,),(,),(,),(,),(,*,t,t,t,t,j,p,W,X,W,-,=,h,D,*,),(,*,1,t,j,+,W,),(,t,p,X,j,W,m,W,*,*,*,*,竞争学习的几何意义,20,例,4.1,用竞争学习算法将下列各模式分为,2,类,：,解：为作图方便，将上述模式转换成极坐标形式：,竞争层设两个权向量，随机初始化为单位向量：,21,22,23,24,25,26,27,28,29,30,31,32,1981,年芬兰,Helsink,大学的,T.Kohonen,教授提出一种自组织特征映射网，简称,SOM,网，又称,Kohonen,网。,Kohonen,认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。,4.3,自组织特征映射神经网络,33,SOM,网的生物学基础,生物学研究的事实表明，在人脑的感觉通道上，神经元,的组织原理是有序排列。因此当人脑通过感官接受外界,的特定时空信息时，大脑皮层的特定区域兴奋，而且类,似的外界信息在对应区域是连续映象的。,对于某一图形或某一频率的特定兴奋过程，神经元的有,序排列以及对外界信息的连续映象是自组织特征映射网,中竞争机制的生物学基础。,34,SOM,网的拓扑结构,SOM,网共有两层，输入层模拟感知外界输入信息的视,网膜，输出层模拟做出响应的大脑皮层。,35,SOM,网的权值调整域,SOM,网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：,36,37,SOM,网的权值调整域,以获胜神经元为中心设定一个邻域半径，该半径圈,定的范围称为优胜邻域。在,SOM,网学习算法中，优,胜邻域内的所有神经元均按其离开获胜神经元的距,离远近不同程度地调整权值。,优胜邻域开始定得很大，但其大小随着训练次数的,增加不断收缩，最终收缩到半径为零。,38,SOM,网的运行原理,训练阶段,w,1,w,2,w,3,w,4,w,5,39,SOM,网的运行原理,工作阶段,40,SOM,网的学习算法,(,1),初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，,j=1,2,m,；建立初始优胜邻域,N,j,*,(0),；学习率,赋初始值。,(2),接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，,p,1,2,P,。,(3),寻找获胜节点 计算 与 的点积，,j=1,2,m,，从中选出点积最大的获胜节点,j*,。,(4),定义优胜邻域,Nj,*,(,t,),以,j*,为中心确定,t,时刻的权值调整域，一般初始邻域,Nj,*,(0),较大，训练过程中,Nj,*,(,t,),随训练时间逐渐收缩。,Kohonen,学习算法,41,42,(5),调整权值,对优胜邻域,N,j,*,(,t,),内的所有节点调整权值：,i=1,2,n,j,N,j,*,(,t,),式中，是训练时间,t,和邻域内第,j,个神经元与获胜经,元,j*,之间的拓扑距离,N,的函数，该函数一般有以下规律：,43,(6),结束检查,学习率是否衰减到零或某个预定的正小数？,44,Kohonen,学习算法程序流程,45,功 能 分 析,(1),保序映射,将输入空间的样本模式类有序地映射在输出层上。,例,1,：动物属性特征映射。,46,功能分析,47,功 能 分 析,(2),数据压缩,-,将高维空间的样本在保持拓扑结构不变的条件下投影到低维的空间，在这方面,SOM,网具有明显的优势。无论输入样本空间是多少维，其模式都可以在,SOM,网输出层的某个区域得到相应。,SOM,网经过训练以后，在高维空间输入相近的样本，其输出相应的位置也相近。,(3),特征提取,-,从高维空间样本向低维空间的映射，,SOM,网的输出层相当于低维特征空间。,48,4.4,自组织特征映射网络的设计,1.,输出层设计,a.,节点数设计,节点数与训练集样本有多少模式类有关。如果节点数少于模式类数，则不足以区分全部模式类，训练的结果势必将相近的模式类合并为一类。这种情况相当于对输入样本进行“粗分”。如果节点数多于模式类数，一种可能是将类别分得过细，而另一种可能是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过调整。在解决分类问题时，如果对类别数没有确切的信息，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。,49,1.,输出层设计,b.,节点排列的设计,输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义。例如，对于旅行路径类的问题，二维平面比较直观；对于一般的分类问题，一个输出节点节能代表一个模式类，用一维线阵意义明确结构简单。,50,2.,权值初始化问题,SOM,网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，全向量的初始位置却随机地分散于样本空间的广阔区域，训练时必然是离整个样本群最近的全向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大概分布区域充分重合。,51,2.,权值初始化问题,一种简单易行的方法是从训练集中随机抽取,m,个输入样本作为初始权值，即,其中 是输入样本的顺序随机数，。因为任何一定是输入空间某个模式类的成员，各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类，占据了十分有利的“地形”。另一种可行的办法是先计算出全体样本的中心向量,在该中心向量基础上迭加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中。,52,3.,优胜邻域的设计,优胜领域设计原则是使领域不断缩小，这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性，从而保证当获胜节点对某一类模式产生最大响应时，其领域节点也能产生较大响应。领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，,r,(,t,),的设计目前没有一般化的数学方法，通常凭借经验来选择,为于输出层节点数,m,有关的正常数，为大于,1,的常数，为预先选定的最大训练次数。,53,4.,学习率的设计,在训练开始时，学习率可以选取较大的值，之后以较快的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至,0,值，这样可以精细地调整权值使之符合输入空间的样本分布结构。,54,4.5,对偶传播神经网络,对偶传播网络,55,X,(,x,1,x,2,x,n,),T,Y,(,y,1,y,2,y,m,),T,，,y,i,0,1,，,i,=1,2,m,O,(,o,1,o,2,o,l,),T,d,(,d,1,d,2,d,l,),T,V=,(,V,1,V,2,V,j,V,m,),W=,(,W,1,W,2,W,k,W,l,),网络各层的数学描述如下：,56,CPN,网运行过程,57,CPN,的学习算法,第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练，步骤如下：,(1),将所有内星权随机地赋以,0,1,之间的初始值，并归一化为单位长度，训练集内的所有输入模式也要进行归一化。,(2),输入一个模式,X,p,，,计算净输入,net,j,=,，,j,=1,2,m,。,(3),确定竞争获胜神经元。,(4)CPN,网络的竞争算法不设优胜邻域，因此只调整获胜神经元的内星权向量，调整规则为,(5),重复步骤,(2),至步骤,(4),直到下降至,0,。需要注意的是，权向量经过调整后必须重新作归一化处理。,58,第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训练，步骤如下：,(1),输入一个模式对,X,p,d,p,，,计算净输入,net,j,=,，,j=1,2,m,，,(2),确定竞争获胜神经元，使,(3),调整隐层到输出层的外星权向量，调整规则为,o,k,由下式计算,CPN,的学习算法,59,权向量调整规则,:,(4),重复步骤,(1),至步骤,(3),直到下降至,0,。,CPN,的学习算法,60,双获胜节点,CPN,网,4.4,对偶传播神经网络,61,Y,=f,(,X,),X,=,f,(,Y,),当向网络输入,(,X,0,),时，网络输出为,(,Y,0,),；,当向网络输入,(,0,Y,),时，网络输出为,(,0,X,),，,当向网络输入,(,X,Y,),时，网络输出为,(,Y,X,),。,双向,CPN,网,62,CPN,网络的应用,63,4.6,小结,本章介绍了无教师学习方式的自组织神经网络，包括以下主要内容,竞争学习的原理,自组织特征映射神经网络,对偶传播神经网络,返回,64,