第4章 感知机学习规则.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,4,章 感知机学习规则,4.1,目的,4.2,理论和实例,4.2.1,学习规则,4.2.2,感知机的结构,4.2.3,感知机学习规则,4.2.4,收敛性证明,4.3,小结,4.4,结束语,4.1,目的,本章将介绍一种用于训练感知机网络的算法，使感知机能够学习求解分类问题。为此，这里将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。本章最后将对单层感知机网络的优点和局限性进行讨论。,4.2,理论和实例,4.2.1,学习规则,学习规则,所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。,大致可以将其分为三大类：,1.,有监督的学习 训练集 目标,p,1,t,1,p,2,t,2,p,Q,t,Q,2.,增强学习,3.,无监督的学习,4.2.2,感知机的结构,该网络的输出由下式给出：,a=,hardlim(Wp+b,),（,4.2,）,首先考虑如下权值矩阵：,（,4.3,）,我们将构成,W,的第,i,个行向量定义为：,（,4.4,）,据此，可将权值矩阵,W,重写为：,（,4.5,）,（,4.6,）,由于,hardlim,传输函数（如图,4-2,）的定义是：,（,4.7,）,a,i,=,hardlim,(n,i,)=,hardlim,(,i,W,T,P+b,i,),a=,hardlim(n,),n=,Wp+b,图,4-2,hardlim,传输函数,所以，如果权值矩阵的第,i,个行向量与输入向量的内积大于等于,-b,i,，该输出为,1,，否则输出为,0,。因此网络中的每个神经元将输入空间划分为两个区域。,1.,单神经元感知机,该网络的输出由下式所决定：,a=,hardlim,(n,)=,hardlim,(Wp+b,),=,hardlim,(,1,W,T,P+b)=,hardlim,(w,1,1,p,1,+w,1,2,p,2,+b),（,4.8,）,判定边界 判定边界由那些使得净输入,n,为零的输入向量确定：,n=,1,W,T,P+b=w,1,1,p,1,+w,1,2,p,2,+b,（,4.9,）,为了使该实例更加具体，现将权值和偏置值设置为：,w,1,1,=1,w,1,2,=1,b=-1,（,4.10,）,那么判定边界是,n=,1,W,T,P+b=w,1,1,p,1,+w,1,2,p,2,+b=p,1,+p,2,-1=0,（,4.11,）,式（,4.11,）在输入空间中定义了一条直线。为了画这条直线，必须找到该直线穿过轴,p,1,和,p,2,的点。为了求该直线在轴,p,2,上的截矩，令,p,1,=0,：,（,4.12,）,为了求该直线在轴,p,1,上的截矩，令,p,2,=0,：,（,4.13,）,据此可得到如图,4-4,所示的判定边界。,为了确定边界的哪一边对应的输出为,1,，我们只需检测输入空间的一个点。对于输入,p=2 0,T,，网络的输出为,（,4.14,）,所以，对于判定边界右上方的区域网络输出为,1,。在图,4-4,中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的判定边界。首先必须注意的是该边界与,1,w,垂直（如图,4-5,所示）：,图,4-5,中的判定边界有下式定义：,1,W,T,p+b=0,（,4.15,）,下面将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入,/,目标对为：,该问题可以用图,4-6,的方式进行描述。该图依据输入向量的目标显示输入空间。目标值为,1,的输入向量用黑色圆圈 表示，而目标值为,0,的输入向量用空心圆圈 表示。,设计的第一步是选择一个判定边界。我们希望有一条直线将黑色圆圈和空心圆圈分割在两个区域。能够实现这种划分的线有无穷条。不过似乎较为合理的选择是直线刚好处于这两类输入的正中（如图,4-7,所示）。,下面将选择一个与判定边界垂直的权值向量。这里选择,(,如图,4-7,所示）。,最后，为了求解偏置值,b,，可以从判定边界上选取一个满足式（,4.15,）的点。如果选,p=1.5 0,T,代入式（,4.15,），有：,（,4.17,）,现在可以通过选择上述的输入,/,目标对来对网络进行测试。如果选择,p,2,作为网络的输入，则输出为,（,4.18,）,（,4.16,）,可以看出，网络的实际输出等于目标输出,t,2,。,2.,多神经元感知机,对于如图,4-1,所示的多神经元感知机而言，每个神经元都有一个判定边界。第,i,个神经元的判定边界定义为,i,W,T,p+b,i,=0,（,4.19,）,由于单神经元感知机的输出只能为,0,霍,1,，所以它可以将输入向量分为两类。而多神经元感知机则可以将输入分为许多类，每一类都由不同的输出向量来表示。由于输出向量的每个元素可以取值,0,或,1,，所以共有,2,S,种可能的类别，其中,S,是多神经元感知机中神经元的数目。,4.2.3,感知机学习规则,这里学习规则将提供一组能够正确反映网络行为的实例：,p,1,t,1,p,2,t,2,p,Q,t,Q,（,4.20,）,其中,p,q,是网络的输入,t,q,是该输出相应的目标输出。,1.,测试问题,在该测试问题中，输入,/,目标对为：,此问题可以用图,4-8,说明，图中目标输出为,0,的两个输入向量用空心圆圈表示，目标输出为,1,的输入向量用黑色圆圈,表示。,为了简化其学习规则的开发，这里首先采用一种没有偏置值的网络。于是网络只需调整两个参数,w,1,1,和,w,1,2,（如图,4-9,所示）。,由于在网络中去掉了偏置值，所以网络的判定边界必定穿过坐标轴的原点（如图,4-10,所示）。,图,4-11,给出了这些判定边界相应的权值向量（记住权值向量与判定边界垂直）。,2.,学习规则的构造,在训练开始时，为网络的参数赋一些初始值。这里仅需对其两个权值进行初始化。这里将,1,W,的两个元素设置为如下两个随机生成的数,:,1,W,T,=1.0 -0.8 (4.21),现在将输入向量提供给网络。开始用,p,1,送入：,（,4.22,）,参考图,4-12,可以看出判决边界初始的权值向量导致了,对向量,p,1,错误分类的判决边界。我们需要调整权值向量，使它更多地指向,p,1,，以便在后面更可能得到正确的分类结果。,一种调整方法是令,1,W=p,1,。,另一种调整方法是将,p,1,加到,1,W,上。这一规则可以表述为：,如果,t=1,且,a=0,则,1,W,new,=,1,W,old,+p,（,4.23,）,在上述问题中应用这个规则，将会得到新的,1,W,值：,（,4.24,）此操作如图,4-14,所示。,现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。,设下一个输入向量是,p,2,。当它被送入该网络后，有,（,4.25,）,p,2,的目标值,t,2,等于,0,，而该网络的世纪输出,a,是,1,。所以一个属于类,0,的向量被错误划分为类,1,了。,既然现在的目的是将,1,W,从输入向量所指的方向移开，因此可以将式（,4.23,）中的加法变为减法,如果,t=0,且,a=1,则,1,W,new,=,1,W,old,-p,（,4.26,）,如果在测试问题中应用该规则，可求出,（,4.27,）,结果如图,4-15,所示。,现在将第三个输入向量,p,3,送入该网络：,（,4.28,）,可以看出，这里,1,w,所形成的判定边界也错误划分了,p,3,。所以按照式（,4.26,）对,1,w,进行修正：,（,4.29,）,如图,4-16,表明该感知机最终可以对上述三个输入向量进行正确的分类。,第三条规则：如果感知机能够正确工作，则不用改变权值向量：,如果,t=a,则,1,W,new,=,1,W,old,（,4.30,）,下面是涵盖了实际输出值和目标输出值所有可能组合的三条规则：,（,4.31,）,3.,统一的学习规则,式（,4.31,）中的三条规则可以统一表示为一个表达式。首先将感知机的误差定义为一个新的变量,e,：,e=t-a,(4.32),现在可将式（,4.31,）中的三条规则重写为,：,如果,e=1,则,1,w,new,=,1,w,old,+p,如果,e=-1,则,1,w,new,=,1,w,old,-p,（,4.33,）,如果,e=0,则,1,w,new,=,1,w,old,如果,t=1,且,a=0,则,1,w,new,=,1,w,old,+p,如果,t=0,且,a=1,则,1,w,new,=,1,w,old,-p,如果,t=a,则,1,w,new,=,1,w,old,可以将上述三条规则统一成一个表达式：,1,w,new,=,1,w,old,+ep=,1,w,old,+(,t-a,),p,（,4.34,）,将上式中的,p,用偏置值的输入,1,替换，得到感知机的偏置值学习规则：,b,new,=,b,old,+e,（,4.35,）,4.,多神经元感知机的训练,由式（,4.34,）和式（,4.35,）给出的感知机规则，修改单神经元感知机的权值向量。我们能把这个规则按照如下方法推广到如图,4-1,所示的多神经元感知机。权值矩阵的第,i,行用下式进行修改：,1,w,new,=,1,w,old,+e,i,p (4.36),而偏置向量的第,i,个元素则按下式进行修改：,b,i,new,=,b,i,old,+e,i,(4.37),感知机规则,W,new,=,W,old,+ep,T,和,b,new,=,b,old,+e,4.2.4,收敛性证明,图,4-17,单神经元感知机,这个感知机的输出可由下式得到：,a=hardlim(,1,w,T,p+b),网络提供了正确反映网络行为的下述实例：,p,1,t,1,p,2,t,2,p,Q,t,Q,其中每个目标输出,t,q,取值,0,或,1,。,1.,记号,n=,1,w,T,p+b=,x,T,z,x,new,=,x,old,+ez,其中,z(k-1),是如下集合中的一个元素：,z,1,z,2,z,Q,-z,1,-z,2,-,z,Q,现假设存在对所有,Q,个输入向量进行正确分类的权值向量，并将这一解记为,X*,。对该权值向量，假设,如果,t,q,=1,那么,x*,T,z,q,0,以及 如果,t,q,=0,那么,x*,T,z,q,-,k,上界：,下界：,x(k,)=z,(0)+z(1)+z(k-1),请注意该证明是建立在下面三条关键假设基础之上的：,1,）问题的解存在。,2,）仅在输入向量被错误分类时才改变权值。,3,）输入向量长度的上界存在。,3.,局限性,线性可分性,4.3,小结,感知机的结构,a=,hardlim(Wp+b,),ai,=,hardlim,(ni,)=,hardlim,(iWTP+bi,),判定边界,感知机学习规则,iWTp+bi,=0,W,new,=,W,old,+ep,T,b,new,=,b,old,+e,其中,e=t-a,。,4.4,结束语,本章介绍了我们的第一个学习规则,-,感知机学习规则。感知机学习规则属于有监督学习类型，其中学习规则用一组正确反映网络行为的实例的方式提供。当每个输入送入网络后，该规则调整网络参数，使网络的实际输出逐步接近相应输入的目标值。,