人工神经网络自组织竞争人工神经网络.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机科学与工程学院,*,我人工神经网络自组织竞争人工神经网络,人工神经网络自组织竞争人工神经网络,第1页,在实际神经网络中，比如人视网膜中，存在着一个“侧抑制”现象，即一个神经细胞兴奋后，经过它分支会对周围其它神经细胞产生抑制。,自组织竞争人工神经网络正是基于上述生物结构和现象形成。它能够对输入模式进行自组织训练和判断，并将其最终分为不一样类型。,与BP网络相比，这种自组织自适应学习能力深入拓宽了人工神经网络在模式识别、分类方面应用，另首先，竞争学习网络关键竞争层，又是许各种其它神经网络模型主要组成部分。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第2页,81几个联想学习规则,格劳斯贝格(SGrossberg)提出了两种类型神经元模型：内星与外星，用以来解释人类及动物学习现象。,内星能够被训练来识别矢量；,外星能够被训练来产生矢量。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第3页,图8.1 格劳斯贝格内星模型图,内星是经过联接权矢量W接收一组输入信号P,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第4页,图82 格劳斯贝格外星模型图,外星则是经过联接权矢量向外输出一组信号A。,它们之所以被称为内星和外星，主要是因为其网络结构像星形，且内星信号流向星内部；而外星信号流向星外部。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第5页,811内星学习规则,实现内星输入输出转换激活函数是硬限制函数。,能够经过内星及其学习规则来训练某一神经元节点只响应特定输入矢量P，它是借助于调整网络权矢量W近似于输入矢量P来实现。,单内星中对权值修正格劳斯贝格内星学习规则为：,(81),由(81)式可见，内星神经元联接强度改变,w,1j,是与输出成正比。,假如内星输出,a,被某一外部方式维护高值时，那么经过不停重复地学习，权值将能够逐步趋近于输入矢量,p,j,值，并趋使,w,1j,逐步降低，直至最终到达,w,1j,p,j,，,从而使内星权矢量学习了输入矢量,P，,到达了用内星来识别一个矢量目标。,另首先，假如内星输出保持为低值时，网络权矢量被学习可能性较小，甚至不能被学习。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第6页,现在来考虑当不一样输入矢量p,1,和p,2,分别出现在同一内星时情况。,首先，为了训练需要，必须将每一输入矢量都进行单位归一化处理。,当第一个矢量p,1,输入给内星后，网络经过训练，最终到达W(p,1,),T,。今后，给内星输入另一个输入矢量p,2,，此时内星加权输入和为新矢量p,2,与已学习过矢量p,1,点积，即：,因为输入矢量模已被单位化为1，所以内星加权输入和等于输入矢量,p,1,和,p,2,之间夹角余弦。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第7页,依据不一样情况，内星加权输入和可分为以下几个情况：,1)p,2,等于p,1,，即有,12,0，此时，内星加权输入和为1；,2)p,2,不等于p,1,，内星加权输入和为0；,3)当p,2,-p,1,，即,12,180时，内星加权输入和到达最小值-1。,由此可见，对于一个已训练过内星网络，当输入端再次出现该学习过输入矢量时，内星产生1加权输入和；而与学习过矢量不相同输入出现时，所产生加权输入和总是小于1。,当多个相同输入矢量输入内星，最终训练结果是使网络权矢量趋向于相同输入矢量平均值。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第8页,内星网络中相同度是由偏差b来控制，由设计者在训练前选定，经典相同度值为b-0.95，这意味着输入矢量与权矢量之间夹角小于1848。若选b-0.9时，则其夹角扩大为2548。,一层含有s个神经元内星，能够用相同方式进行训练，权值修正公式为：,MATLAB神经网络工具箱中内星学习规则执行是用函数learnis.m来完成上述权矢量修正过程：,dW1earnis(W，P，A，lr)；,W=W十dW；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第9页,例8.1 设计内星网络进行以下矢量分类辨识：,初始化处理：,R，Qsize(P)；,S，Qsize(T)；,Wzeros(S，R)；,B-0.95*ones(S，1)；,max-epoch10；,lr0.7；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第10页,812外星学习规则,外星网络激活函数是线性函数，它被用来学习回想一个矢量，其网络输入P也能够是另一个神经元模型输出。,外星被训练,用,来在一层s个线性神经元输出端产生一个尤其矢量A。,对于一个外星，其学习规则为：,与内星不一样，外星联接强度改变,w,是与输入矢量,P,成正比。这意味着当输入矢量被保持高值，比如靠近1时，每个权值,w,ij,将趋于输出,a,i,值，若,p,j,1，,则外星使权值产生输出矢量。,当输入矢量,p,j,为0时，网络权值得不到任何学习与修正。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第11页,当有r个外星相并联，每个外星与s个线性神经元相连组成一层外星时，其权值修正方式为：,其中：,Wsr权值列矢量；,lr学习速率；,Asq外星输出；,Prq外星输入。,MATLAB工具箱中实现外星学习与设计函数为learnos.m，其调用过程以下：,dWlearnos(W，A，P，lr)；,WW十dW；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第12页,思索：,下面有两元素输入矢量以及与它们相关四元素目标矢量，试设计一个外星网络实现有效矢量取得，外星没有偏差。,P1 0；,T0.1826 0.6325；,0.36510.3162；,0.54770.3162；,0.73030.6325；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第13页,813科荷伦,(Kohonen),学习规则,科荷伦学习规则是由内星规则发展而来。,科荷伦规则为：,科荷伦学习规则实际上是内星学习规则一个特例，但它比采取内星规则进行网络设计要节约更多学习，因而常惯用来替换内星学习规则。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第14页,在MATLAB工具箱中，在调用科荷伦学习规则函数learnk.m时，普通经过先寻找输出为1行矢量i，然后仅对与i相连权矩阵进行修正。使用方法以下：,ifind(A=1)；,dWlearnk(W，P，i，1r)；,WW十dW；,普通情况下科荷伦学习规则比内星学习规则能够提升训练速度1到2个数量级。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第15页,Kohonen学习规则经过输入向量进行神经元权值调整，所以在模式识别中经惯用到。,经过学习，那些最靠近输入向量神经元权值得到修正，使之更靠近输入向量，其结果是获胜神经元在下一次相同输入向量出现时，获胜可能性更大；而对于那些与输入向量相差很远神经元权值向量很快被调整为最靠近某一类输入向量值。,结果是，假如神经元数量足够多，则含有相同输入向量各类模式作为输入向量时，其对应神经元输出为1；而对于其它模式输入向量，其对应神经元输出为0。所以，竞争网络含有对输入向量进行夫恶习分类能力。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第16页,82自组织竞争网络,821网络结构,竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。,因为网络在学习中竞争特征也表现在输出层上，所以在竞争网络中把输出层又称为竞争层，而与输入节点相连权值及其输入合称为输入层。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第17页,从网络结构图中能够看出，自组织竞争网络权值有两类：,一类是输入节点j到i权值w,ij,(i1，2、s；j1，2、r)，这些权值是经过训练能够被调整；,另一类是竞争层中相互抑制权值w,ik,(k1，2、s)。这类权值是固定不变，且它满足一定分布关系。,它们是一个对称权值，即有w,ik,w,ki,，同时相同神经元之间权值起加强作用，即满足w,11,w,11,w,kk,0，而不一样神经元之间权值相互抑制，对于ki有w,i,k,0。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第18页,设网络输入矢量为：Pp,1,p,2,p,r,T,；,对应网络输出矢量为：Aa,1,a,2,a,s,T,。,因为竞争网络中含有两种权值，所以其激活函数加权输入和也分为两部分：来自输入节点加权输入和N与来自竞争层内相互抑制加权输入和G。对于第i个神经元有：,1)来自输入节点加权输入和为：,2)来自竞争层内相互抑制加权输入和为：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第19页,a)假如在竞争后，第i个节点“赢”了，则有：,而其它全部节点输出均为零，即：,此时,b)假如在竞争后，第i个节点“输”了，而“赢”节点为l，则有：,此时,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第20页,所以对整个网络加权输入总和有下式成立：,s,l,=n,l,+w,ll,对于“赢”节点l,s,i,=n,i,-|w,ii,|对于全部”输“节点i1，2s，il,由此能够看出，经过竞争后只有获胜那个节点加权输入总和为最大。竞争网络输出为：,在判断竞争网络节点胜败结果时，可直接采取,n,i,，,即：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第21页,取偏差B为零是判定竞争网络获胜节点时经典情况，偶而也采取下式进行竞争结果判定：,经过上面分析，能够将竞争网络工作原理总结以下：,竞争网络激活函数使加权输入和为最大节点赢得输出为1，而其它神经元输出皆为0。这个竞争过程可用,MATLAB,描述以下：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第22页,nW*P；,S，Qsize(n)；,xn+b*ones(1，Q)；,ymax(x)；,for q1：Q,找出最大加权输入和y(q)所在行；,sfind(x(:,q)y(q)；,令元素a(z，q)1，其它值为零；,a(z(1)，q)1；,end,这个竞争过程程序已被包含在竞争激活函数compet.m之中，,Acompet(W*P，B)；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第23页,822竞争学习规则,竞争网络在经过竞争而求得获胜节点后，则对与获胜节点相连权值进行调整，调整权值目标是为了使权值与其输入矢量之间差异越来越小，从而使训练后竞争网络权值能够代表对应输入矢量特征，把相同输入矢量分成了同一类，并由输出来指示所代表类别。,竞争网络修正权值公式为：,式中,lr,为学习速率，且0,lr1，,普通取值范围为0.01-0.3；,p,j,为经过归一化处理后输入。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第24页,用MATLAB工具箱来实现上述公式过程能够用内星学习规则：,Acompet(W*P)；,dWlearnis(P，A，lr，W)；,WW十dW；,更省时地是采取科荷伦学习规则以下：,Acompet(W*P)；,ifind(A=1)；,dWlearnis(P，i，lr，W)；,WW十dW；,不论采取哪种学习方法，层中每个最靠近输入矢量神经元，经过每次权值调整而使权值矢量逐步趋于这些输入矢量。从而竞争网络经过学习而识别了在网络输入端所出现矢量，并将其分为某一类。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第25页,823竞争网络训练过程,竞争网络学习和训练过程，实际上是对输入矢量划分聚类过程，使得获胜节点与输入矢量之间权矢量代表获胜输入矢量。,这么，当到达最大循环值后，网络已重复屡次训练了P中全部矢量，训练结束后，对于用于训练模式P，其网络输出矢量中，其值为1代表一个类型，而每类经典模式值由该输出节点与输入节点相连权矢量表示。,竞争网络输入层节点r是由已知输入矢量决定，但竞争层神经元数s是由设计者确定，普通情况下，能够依据输入矢量维数及其预计，再适当地增加些数目来确定。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第26页,另外还要事先确定参数有：学习速率和最大循环次数。竞争网络训练是在到达最大循环次数后停顿，这个数普通可取输入矢量数组1520倍，即使每组输入矢量能够在网络重复出现1520次。,竞争网络权值要进行随机归一化初始化处理，这个过程在,MATLAB,中用函数,randnr.m,实现：,wrandnr(S，R)；,然后网络则能够进入竞争以及权值调整阶段。,网络训练全过程完全由计算机去做，工具箱中竞争网络训练函数为,trainc.m，,它使用方法以下：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第27页,竞争网络比较适适用于含有大批相同数组分类问题。,竞争学习网络不足：,竞争网络适适用于当含有经典聚类特征大量数据辨识，但当碰到大量含有概率分布输入矢量时，竞争网络就无能为力了，这时能够采取科荷伦网络来处理。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第28页,83科荷伦自组织映射网络,神经细胞模型中还存在着一个细胞聚类功效柱。它是由多个细胞聚合而成，在接收外界刺激后，它们会自动形成。一个功效柱中细胞完成同一个功效。,当外界输入不一样样本到科荷伦自组织映射网络中，一开始时输入样本引发输出兴奋位置各不相同，但经过网络自组织后会形成一些输出群，它们分别代表了输入样本分布，反应了输入样本图形分布特征，所以科荷伦网络经常被称为特征图。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第29页,科荷伦网络使输入样本经过竞争学习后，功效相同输入靠得比较近，不一样分得比较开，以此将一些无规则输入自动排开，在联接权调整过程中，使权分布与输入样本概率密度分布相同。所以科荷伦网络能够作为一个样本特征检测器，在样本排序、样本分类以及样本检测方面有广泛地应用。,普通能够这么说，科荷伦网络权矢量收敛到所代表输入矢量平均值，它反应了输入数据统计特征。,当随机样本输入到科荷伦网络时，假如样本足够多，那么在权值分布上可近似于输入随机样本概率密度分布，在输出神经元上也反应了这种分布，即概率大样本集中在输出空间某一个区域或各个不一样区域。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第30页,831科荷伦网络拓扑结构,科荷伦网络结构也是两层：输入层和竞争层。与基本竞争网络不一样之处是其竞争层能够由一维或二维网络矩阵方式组成，且权值修正策略也不一样。,1)一维网络结构与基本竞争学习网络相同；,2)二维网络结构：,图8.6 二维科荷伦网络结构图,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第31页,图8.7 二维神经元层示意图,科荷伦网络激活函数为二值型函数。普通情况下b值固定，其学习方法与普通竞争学习算法相同。在竞争层，每个神经元都有自己邻域。一个直径为1邻域包含主神经元及它直接周围神经元所组成区域；直径为2邻域包含直径1神经元以及它们邻域。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第32页,图88二维网络邻域形状,在,MATLAB,工具箱中有一个求获胜神经元邻域函数：,在二维竞争层中，邻域函数为,neighb2d.m。,函数,neighb2d.m,使用方法以下：,N,p,=x y；,inneighb2d(i,N,p,N)；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第33页,对于一维竞争层，其中邻层函数为叫,neighb1d.m，,确定竞争层大小参数就是神经元数,S，,即,N,p,=S；,inneighb1d(i，N,p,，N)；,832网络训练过程,训练设计步骤(适合用于输入矢量,P,含有某种概率分布数组)：,(1)初始化,1)由输入矢量确定网络结构：,R,Qsize(P)；,2),设置网络竞争层神经元节点：一维,S,或二维宽,X,和高,Y，SX*Y；,3),将输入模式,P,作归一化处理：,Pnormc(P);,4),归一随机化处理初始权值：,Wrands(S,R)*0.1；,并设置：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第34页,5)最大循环次数(此数依据输入数据数目而乘一个倍数所得)：,max_cycle,6),基本学习速率,lr：,普通取0.010.3，视详细情况而定；,7)最大邻层数,max_neighb:,一维,max_neighbS-1；,二维,max_neighbmax(X Y)-1；,(2)循环训练,for cycle=1:max_cycle,1),学习速率是线性下降：,xcycle/max_cycle;,LR(1x)*lr；,这使得学习速率伴随循环次数增加，从,lr*(max_cycle-1)/max_cycle,逐步降至0；,2)邻层数也是递减：,n=max(ceil(max_neighb*(1-x*4)1)；,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第35页,3)计算输入矢量加权和，并经过竞争求出获胜节点,Acompet(W*P)；,4)依据获胜节点求出相邻层(以二维为例)，并进行权值修正：,i=find(A1)；,in=neighb2d(i,X,Y,n);,dWlearn(W,P,in,LR),WW+dw；,(3)输出或显示结果。,MATLAB工具箱中用于训练设计科荷伦网络权矢量函数为trainfm.m，它能执行上述训练步骤全过程。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第36页,最大邻域数应设置为层最大直径数减去,l。,比如，对一维特征图,max_neighb,应为,S-1；,对二维特征图，其层神经元宽为,X,高为,Y,时，,max_neighb,应该等于二者中较大值减去1。,函数,trainfm.m,训练开始于学习速度,lr,和最大邻域,max_neighb，,然后，其学习速率线性地递减，以致于最终训练周期里学习速率为0。邻域数也是线性地降低，但在到达四分之一训练周期后，其值保持为最大值1直到最终训练结束。,给定一个特征图权矩阵,W，,它邻域函数,F(,作为一个字符串)，以及竞争层大小,N,p,，,能够用函数,plotmap.m,画出特征图。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第37页,8.4,对传网络,对传网络(Counter Propagation Network，简称CPN)是美国学者Hechi-Nielson在1987年首次提出。,从结构上看，CPN是一个层次结构网络，实际上，CPN是把两种著名网络算法：科荷伦自组织映射理论与格劳斯贝格外星算法组合起来而形成网络。,841网络结构,CPN网络为两层结构：第一层为科荷伦层，采取无指导训练方法对输入数据进行自组织竞争分类或压缩，第二层称为格劳斯贝格层。,第一层激活函数为二值型硬函数，而第二层为线性激活函数。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第38页,1)对于科荷伦层输出有：,2)对于格劳斯贝格层，含有目标矢量G，此时，从前层输出K为它输入，输出为：,CPN网络结构如图8.9所表示：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第39页,842学习法则,1)在科荷伦层，经过竞争对获胜节点采取科荷伦规则调整与其相连权矢量：,2)在格劳斯贝格层，对与在科荷伦层输出为1输入相连权值进行以下调整：,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第40页,843训练过程,1)初始化：,归一化处理输入、目标矢量P和G；,对权矢量W1和W2进行归一化随机取值；,选取最大循环次数、学习速率lr1和lr2。,2)科荷伦层无指导训练过程：,重复对输入样本进行竞争计算，对获胜科荷伦层获胜节点按科荷伦法对与其连接权矢量进行修正；,3)格劳斯贝格层有指导训练过程：,寻找层输入为1节点，并对与该节点相连权矢量进行修正；,4)检验最大循环数是否到达，是，则停顿训练，否，则转入2)。,经过充分训练后CPN可使其科荷伦层权矢量收敛到相同输入矢量平均值，而使格劳斯贝格层权向量收敛到目标矢量平均值。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第41页,当CPN训练后工作时，只要对网络输入一矢量X，则在科荷伦层经过竞争后产生获胜节点，并在格劳斯贝格层使获胜节点所产生信息向前传送，在输出端得到输出矢量Y，这种由矢量X得到矢量Y过程有时也称为异联想，更广泛地说，它实现了一个计算过程。,当训练CPN使其格劳斯贝格层目标矢量G等于科荷伦层输入矢量P时，则可实现数据压缩。详细做法是：首先是训练CPN使其G=P，然后，将输入数据输入CPN，在科荷伦层输出得到0，1数据，这些数据为输入压缩码。解码时，将在科荷伦层压缩0，1码送入格劳斯贝格层，在其输出端对应得到解压缩矢量。,计算机科学与工程学院,人工神经网络自组织竞争人工神经网络,第42页,