第10章-SOFM网络.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2006-12-27,北京科技大学 自动化系 付冬梅,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2006-12-27,北京科技大学 自动化系 付冬梅,*,2006-12-27,北京科技大学 自动化系 付冬梅,1,第九章,SOFM,神经网络,北京科技大学 信息工程学院,付冬梅,fdm2003,62334967,2006-12-27,北京科技大学 自动化系 付冬梅,2,自组织竞争神经网络类型,自适应共振理论,(Adaptive Resonance Theory,，,ART),网络,自组织特征映射,(self-Organizing Map,，,SOM),网络,对传,(Counter Propagation,，,CP),网络,协同神经网络,(Synergetic Neural Network,SNN),第九章,SOFM,神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,3,第九章,SOFM,神经网络,由芬兰学者,Teuvo Kohonen,于,1981,年提出。,基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元。,Im Teuvo Kohonen,2006-12-27,北京科技大学 自动化系 付冬梅,4,神经网络系统中的一个主要特点是它具有学习功能。通过学习它可以提取一组数据中的重要特征或找出其内在规律和本质属性（如分布特征，或按某种特征聚类），不断调整本身的学习过程，通常把网络的这种功能称为自学习或自组织功能。这种无教师监督，能自动的向环境学习，并根据学习所得到的重要特征来记忆知识的网络统称为自组织神经网络。,自组织特征映射（,SOFM,Self-Organizing Feature Map,）是芬兰学者,Kohonen,提出的一种神经网络模型，它模拟了哺乳动物大脑皮质神经的侧抑制、自组织等特性，,1984,年,Kohonen,将芬兰语音精确地组织为因素图，,1986,年又将运动指令组织成运动控制图，由于这些成功应用使,SOFM,引起世人的高度重视，形成一类很有特色的无师训练神经网络模型。,第九章,SOFM,神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,5,SOFM,网络的思想来源,SOFM,网络的结构模型,SOFM,神经元的基本功能函数,SOFM,的基本学习算法,仿真实例,几点注意事项,第九章,SOFM,神经网络,2006-12-27,北京科技大学 自动化系 付冬梅,6,第九章,SOFM,神经网络,9.1 SOFM,网络的思想来源,自组织特征映射的思想来源有两个方面,人脑的自组织性,人脑的矢量量化,尽管目前人们对脑细胞如何组织来协调处理复杂信息的过程和机理还不十分清楚，但已有以下几点共识：,人脑的自组织性,(1),原始信息如一句话、一个图形是多维信号，图形可看成一个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作二维平面上一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空问信号的降维映射，降维过程去掉了原始信号的次要特征,保留了其主要特征。,2006-12-27,北京科技大学 自动化系 付冬梅,9,第九章,SOFM,神经网络,矢量量化是,20,世纪,80,年代提出的一种数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空间划分成多个不相交的超多面体，每个超多面体可称为一个区域，每个区域中选一个代表点，称为码本向量，这样凡同一区域的点均用码本向量来表示，数据可大大压缩。如何根据信号的特点来划分区域，如何由代表点重构信号,(,语音、图象,),而不致与原信号失真等问题，本课堂不计划详述，感兴趣的同学可以参考有关文献。,人脑的矢量量化,2006-12-27,北京科技大学 自动化系 付冬梅,10,第九章,SOFM,神经网络,9.2 SOFM,网络的结构模型,最初的自组织特征映射是一个单层网络,(,见图,9.3),。各神经元处在一个平面上，一般用矩形或六边形等排列方式。输入端处于平面之外的下侧，每个输入端口与所有神经元均有连接,称为前向权,它们可以迭代调整。在神经元平面上侧，实际上每个神经元还有一个输出端,不再画出,平面上各单元采用全连接，称为侧向权，以构成抑制引起竞争。为了图形的清晰,图,3,未画出侧向权。侧向抑制机制是通过邻域和学习因子实现的，具体表现见后面的学习算法。,2006-12-27,北京科技大学 自动化系 付冬梅,11,竞争层,输入层,SOFM,神经网络结构,第九章,SOFM,神经网络,9.2 SOFM,网络的结构模型,2006-12-27,北京科技大学 自动化系 付冬梅,12,第九章,SOFM,神经网络,图,9.3,最初的,SOFM,网络结构示意图,2006-12-27,北京科技大学 自动化系 付冬梅,13,第九章,SOFM,神经网络,9.3 SOFM,神经元的基本功能函数,记 为,j,个输入端指向第,i,神经元的权，令,神经元,i,的输出可以采用两种方式,:,1),内积形式,2),欧氏距离形式,采用这两种函数目的在于衡量输入矢量 与单位的权矢量 之,间匹配的程度，内积越大或距离 越小，与 匹配程度越高。,（,9.1,）,（,9.2,）,2006-12-27,北京科技大学 自动化系 付冬梅,14,第九章,SOFM,神经网络,当所有的权与输入向量均归一化处理 ，后，,以上两种表示等价。简单证明如下：,所以（,9.2,）的极小对应（,9.1,）的极大。不过归一化处理后。所有权向量都处在单位球面上，损失了一个维数。当权向量维数高的时候，这种损失对结果影响不会太大，如若维数低，则影响不能忽略，最好用不要归一化处理，直接用（,9.2,）式。,（,9.3,）,2006-12-27,北京科技大学 自动化系 付冬梅,15,第九章,SOFM,神经网络,9.4 SOFM,的基本学习算法,SOFM,网络算法的主要生物学依据来源于大脑的侧向交互原理，即所谓的墨西哥草帽效应：相邻近的神经元之间的局部交互的方式是侧向交互，它遵从下列有关规则：,1),以发出信号的神经元为圆心，对该神经元近邻的神经元的交互作用表现为兴奋性侧反馈；,2),以发出信号的神经元为圆心，对该神经元远邻的神经元的交互作用表现为抑制性侧反馈。,生物学上的近邻是指从发出信号的神经元为圆心半径约为,50500m,左右的神经元；远邻是指半径为,200m2mm,左右的神经元。比远邻更远的神经元则表现的是弱激励作用。,2006-12-27,北京科技大学 自动化系 付冬梅,16,第九章,SOFM,神经网络,这种局部交互方式如图,9.4,所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为,“,墨西哥帽,”,。,图,9.4,墨西哥帽示意图,2006-12-27,北京科技大学 自动化系 付冬梅,17,第九章,SOFM,神经网络,无教师学习,学习是无师的，其目的是调整前向权，但调整过程也体现了侧抑制作用。学习算法步骤如下：,Step1,权值初始化，将每个 赋以一个小的随机值 。,Step2,输入训练样本矢量 ，令,t=0,。,Step3,用公式,(9.2),计算 与所有前向权量矢量之间的距离,Step4,选择获胜单元,c,，使,2006-12-27,北京科技大学 自动化系 付冬梅,18,第九章,SOFM,神经网络,Step6,令,t:=t+1,转,Step3,。,Step7,当 时，停止对当前样本的学习，转,Step2,。,Step8,重复,Step2Step7,，直至所有样本使用完毕。,Step5,调整,式中 是学习因子，随时间而递减，范围,是,c,的领域，其半径随,t,而减小。,2006-12-27,北京科技大学 自动化系 付冬梅,19,第九章,SOFM,神经网络,关于学习率函数 的选择。原则上可选一个单调下降函数，至于是线性下降还是负指数下降没有硬性规定，只有一些经验法则。如采用线性下降函数，根据,Konhonen,本人的经验，前,10000,步下降要快。后,10000,步下降要慢。,关于领域 的形状及收缩规律，也只有经验法则。形状一般取矩形、六边形或圆形。为简单起见半径 的缩小可采用线性下降函数，但注意不要下降到,0,。如果,1,，则退化为独活型竞争。,2006-12-27,北京科技大学 自动化系 付冬梅,20,第九章,SOFM,神经网络,图,9.5,是两种形状领域的逐步缩小示意图。,图,9.5,领域逐步缩小示意图,2006-12-27,北京科技大学 自动化系 付冬梅,21,第九章,SOFM,神经网络,关于学习率 和领域 大小的一种统一考虑如下：取,式中 是常数，是,t,的单减函数，常数 ，,是第,i,个神经元在平面上的坐标，是获胜,单元,c,在平面上的坐标。这种处理方法实际上是以全部神经,元位领域，只不过离,c,远的地方学习率很小可以忽略罢了。,2006-12-27,北京科技大学 自动化系 付冬梅,22,函 数 名,功 能,newsom(),创建一个自组织特征映射神经网络,plotsom(),绘制自组织特征映射网络的权值矢量,vec2ind(),将单值矢量组变换成下标矢量,compet(),竞争传输函数,midpoint(),中点权值初始化函数,learnsom(),自组织特征映射权值学习规则函数,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,23,newsom(),功能,创建一个自组织特征映射网络函数,格式,net=newsom(PR,，,D1,，,D2,，,.,，,TFCN,，,DFCN,，,OLR,，,OSTEPS,，,TLR,，,TND),说明,net,为生成的新,BP,神经网络；,PR,为网络输入矢量取值范围的矩阵,Pmin Pmax,；,D1,，,D2,，,.,为神经元在多维空间中排列时各维的个数；,TFCN,为拓扑函数，缺省值为,hextop,；,DFCN,为距离函数，缺省值为,linkdist,；,OLR,为排列阶段学习速率，缺省值为,0.9,；,OSTEPS,为排列阶段学习次数，缺省值为,1000,；,TLR,为调整阶段学习速率，缺省值为,0.02,，,TND,为调整阶段领域半径，缺省值为,1,。,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,24,plotsom(),功能,绘制自组织特征映射网络图的权值向量函数,格式,(1)plotsom(pos),(2)plotsom(W,，,D,，,ND),说明,式中,pos,是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于,1,的神经元以直线连接；,W,为神经元权值矩阵；,D,为根据神经元位置计算出的间接矩阵；,ND,为领域半径，缺省值为,1,；函数返回神经元权值的分布图，图中每两个间距小于,ND,的神经元以直线连接。,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,25,yec2ind(),功能,将单值向量组变换成下标向量,格式,ind=vec2ind(vec),说明,式中，,vec,为,m,行,n,列的向量矩阵,x,，,x,中的每个列向量,i,，除包含一个,1,外，其余元素均为,0,，,ind,为,n,个元素值为,1,所在的行下标值构成的一个行向量。,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,26,compet(),功能,竞争传输函数。,格式,A=compet(N,FP),说明,compet is a neural transfer function.Transfer functions calculate a layers output from its net input.,compet(N,FP)takes N and optional function parameters,N,：,S x Q matrix of net input(column)vectors,FP,：,Struct of function parameters(ignored),第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,2006-12-27,北京科技大学 自动化系 付冬梅,27,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,midpoint(),功能,中点权值初始化函数。,格式,W=midpoint(S,PR),说明,midpoint is a weight initialization function that sets weight(row)vectors to the center of the input ranges.,midpoint(S,PR)takes two arguments,S,：,Number of rows(neurons),PR,：,R x Q matrix of input value ranges=Pmin Pmax,and returns an S x R matrix with rows set to(Pmin+Pmax)/2.,2006-12-27,北京科技大学 自动化系 付冬梅,28,第九章,SOFM,神经网络,9.5 MATLAB,中,SOFM,网络的重要函数和基本功能,learnsom(),功能,自组织特征映射权值学习规则函数。,格式,dW,LS=learnsom(W,P,Z,N,A,T,E,gW,gA,D,LP,LS),说明,W,：,S x R weight matrix(or S x 1 bias vector),P,：,R x Q input vectors(or ones(1,Q),Z,：,S x Q weighted input vectors,N,：,S x Q net input vectors A,：,S x Q output vectors,T,：,S x Q layer target vectors E,：,S x Q layer error vectors,gW,：,S x R weight gradient with respect to performance,gA,：,S x Q output gradient with respect to performance,D,：,S x S neuron distances,LP,：,Learning parameters,none,LP=,LS,：,Learning state,initially should be=,dW,：,S x R weight(or bias)change matrix,LS,：,New learning state,2006-12-27,北京科技大学 自动化系 付冬梅,29,例,2-5,人口分类是人口统计中的一个重要指标，现有,1999,共,10,个地区的人口出生比例情况如下：,出生男性百分比分别为：,0.5512 0.5123 0.5087 0.5001,0.6012 0.5298 0.5000 0.4965,0.5103 0.5003;,出生女性百分比分别为：,0.4488 0.4877 0.4913 0.4999,0.3988 0.4702 0.5000 0.5035,0.4897 0.4997,第九章,SOFM,神经网络,9.6 SOFM,网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,30,例,1,源程序,第九章,SOFM,神经网络,9.6 SOFM,网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,31,第九章,SOFM,神经网络,9.6 SOFM,网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,32,类别,1,类别,2,类别,5,类别,4,类别,3,测试数据属于类别,5,第九章,SOFM,神经网络,9.6 SOFM,网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,33,第九章,SOFM,神经网络,用 个神经元的,SOFM,网络来学习单位正方形内均匀分布的训练数据。训练样本随机产生（见图,9.6a,），测试样本取单位正方形内均匀点阵（见图,9.6b,），用方法一测试结果见图,9.6c,。当输入测试向量（,1,，,1,）时，神经元,11,最活跃，而当输入测试向量（,8,，,8,）时，神经元,（,8,，,8,）,最活跃。显然（,c,）图与（,b,）图的概率分布及拓补结构特征完全一致。,9.6 SOFM,网络仿真实例,2006-12-27,北京科技大学 自动化系 付冬梅,34,第九章,SOFM,神经网络,图,9.7,是同样数据的方法二测试结果，,=100,，,=500,，,=2000,，,=10000,。可以看出，初始时随机分布的权到,迭代改进,100,步以后显现出初步规律，,2000,次后规律更加明,显，约,10000,次后权向量的概率分布及拓补结构就与测试数,据基本一致了。,图,9.7,方法,2,显示结果,2006-12-27,北京科技大学 自动化系 付冬梅,35,第九章,SOFM,神经网络,9.6,几点注意事项,(1),为使映射精确，迭代次数 要适当地大，据经验至少要,等于神经元个数的,500,倍，但与 的维数无关。,(2),前,1000,步，可以从一个接近,1,的数开始下降，下降率适,当大点，这个阶段可称之为有序化。在,1000,步以后减小下,降率，从 逐步下降为,0,，这个阶段可称为精调。,(3),邻域 太小则映射可能不是全局有序化的，会出现马,赛克效应，使本来应该映射到同一区域的却分别映射到几,个不相邻的小区域。前,1000,步 可线性缩小，精调时可保,持在适当小的数值上不变。,2006-12-27,北京科技大学 自动化系 付冬梅,36,第九章,SOFM,神经网络,关于,SOFM,，,kohonen,本人有几点评论，叙述如下：,(1),目前的,SOFM,只是极端简化地模拟了人脑的自组织映射功能，如要用作大型的数据库势必大大增加网络神经元的数目，这不是一种好办法。伟人与一般人的大脑在尺度上并没有什么区别，似乎是通过对信号子集进行编码来实现，这种抽象表示的分层结构越发达运算和联想能力越强。,(2)SOFM,网与其它神经网络的主要区别在于，其他网络重点强调并行处理，神经元的自组织性放在第二位，而,SOFM,网在并行处理的同时特别强调了自组织性。,(3)SOFM,的主要发展方向有两个：实行真正的分层结构，即若干层,SOFM,级联起来；将一个大的平面划分成不同的区域，每个区域用一种,SOFM,，每个区域对应不同的信号源，好像人类脑皮层不同区域分管视、听、嗅、味、触各种不同感觉一样。同时这些区域的边界不需要很清晰。,2006-12-27,北京科技大学 自动化系 付冬梅,37,第九章,SOFM,神经网络,Mikkulainen,构建的,Dislex,模型,2006-12-27,北京科技大学 自动化系 付冬梅,38,第九章,SOFM,神经网络,Sardnet,模型示意图,2006-12-27,北京科技大学 自动化系 付冬梅,39,本章结束，谢谢大家！,