第4章 感知机学习规则.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,4,章 感知机学习规则,4.1,目的,4.2,理论和实例,4.2.1,学习规则,4.2.2,感知机的结构,4.2.3,感知机学习规则,4.2.4,收敛性证明,4.3,小结,4.4,结束语,4.1,目的,本章将介绍一种用于训练感知机网络的算法，使感知机能够学习求解分类问题。为此，这里将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。本章最后将对单层感知机网络的优点和局限性进行讨论。,4.2,理论和实例,4.2.1,学习规则,学习规则,所谓学习规则就是修改神经网络的权值和偏置值的方法和过程也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。,大致可以将其分为三大类：,1.,有监督的学习 训练集 目标,p,1,t,1,p,2,t,2,p,Q,t,Q,2.,增强学习,3.,无监督的学习,4.2.2,感知机的结构,该网络的输出由下式给出：,a=,hardlim(Wp+b,),（,4.2,）,首先考虑如下权值矩阵：,（,4.3,）,我们将构成,W,的第,i,个行向量定义为：,（,4.4,）,据此，可将权值矩阵,W,重写为：,（,4.5,）,（,4.6,）,由于,hardlim,传输函数（如图,4-2,）的定义是：,（,4.7,）,a,i,=,hardlim,(n,i)=,hardlim,(,i,W,T,P+b,i,),a=,hardlim(n,),n=,Wp+b,图,4-2,hardlim,传输函数,所以，如果权值矩阵的第,i,个行向量与输入向量的内积大于等于,-b,i,，该输出为,1,，否则输出为,0,。因此网络中的每个神经元将输入空间划分为两个区域。,1.,单神经元感知机,该网络的输出由下式所决定：,a=,hardlim,(n,)=,hardlim,(Wp+b,),=,hardlim,(,1,W,T,P+b)=,hardlim,(w,1,1,p,1,+w,1,2,p,2,+b),（,4.8,）,判定边界 判定边界由那些使得净输入,n,为零的输入向量确定：,n=,1,W,T,P+b=w,1,1,p,1,+w,1,2,p,2,+b,（,4.9,）,为了使该实例更加具体，现将权值和偏置值设置为：,w,1,1,=1,w,1,2,=1,b=-1,（,4.10,）,那么判定边界是,n=,1,W,T,P+b=w,1,1,p,1,+w,1,2,p,2,+b=p,1,+p,2,-1=0,（,4.11,）,式（,4.11,）在输入空间中定义了一条直线。为了画这条直线，必须找到该直线穿过轴,p,1,和,p,2,的点。为了求该直线在轴,p,2,上的截矩，令,p,1,=0,：,（,4.12,）,为了求该直线在轴,p,1,上的截矩，令,p,2,=0,：,（,4.13,）,据此可得到如图,4-4,所示的判定边界。,为了确定边界的哪一边对应的输出为,1,，我们只需检测输入空间的一个点。对于输入,p=2 0,T,，网络的输出为,（,4.14,）,所以，对于判定边界右上方的区域网络输出为,1,。在图,4-4,中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的判定边界。首先必须注意的是该边界与,1,w,垂直（如图,4-5,所示）：,图,4-5,中的判定边界有下式定义：,1,W,T,p+b=0,（,4.15,）,下面将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入,/,目标对为：,该问题可以用图,4-6,的方式进行描述。该图依据输入向量的目标显示输入空间。目标值为,1,的输入向量用黑色圆圈 表示，而目标值为,0,的输入向量用空心圆圈 表示。,设计的第一步是选择一个判定边界。我们希望有一条直线将黑色圆圈和空心圆圈分割在两个区域。能够实现这种划分的线有无穷条。不过似乎较为合理的选择是直线刚好处于这两类输入的正中（如图,4-7,所示）。,下面将选择一个与判定边界垂直的权值向量。这里选择,(,如图,4-7,所示）。,最后，为了求解偏置值,b,，可以从判定边界上选取一个满足式（,4.15,）的点。如果选,p=1.5 0,T,代入式（,4.15,），有：,（,4.17,）,现在可以通过选择上述的输入,/,目标对来对网络进行测试。如果选择,p,2,作为网络的输入，则输出为,（,4.18,）,（,4.16,）,可以看出，网络的实际输出等于目标输出,t,2,。,2.,多神经元感知机,对于如图,4-1,所示的多神经元感知机而言，每个神经元都有一个判定边界。第,i,个神经元的判定边界定义为,i,W,T,p+b,i,=0,（,4.19,）,由于单神经元感知机的输出只能为,0,霍,1,，所以它可以将输入向量分为两类。而多神经元感知机则可以将输入分为许多类，每一类都由不同的输出向量来表示。由于输出向量的每个元素可以取值,0,或,1,，所以共有,2,S,种可能的类别，其中,S,是多神经元感知机中神经元的数目。,4.2.3,感知机学习规则,这里学习规则将提供一组能够正确反映网络行为的实例：,p,1,t,1,p,2,t,2,p,Q,t,Q,（,4.20,）,其中,p,q,是网络的输入,t,q,是该输出相应的目标输出。,1.,测试问题,在该测试问题中，输入,/,目标对为：,此问题可以用图,4-8,说明，图中目标输出为,0,的两个输入向量用空心圆圈表示，目标输出为,1,的输入向量用黑色圆圈,表示。,为了简化其学习规则的开发，这里首先采用一种没有偏置值的网络。于是网络只需调整两个参数,w,1,1,和,w,1,2,（如图,4-9,所示）。,由于在网络中去掉了偏置值，所以网络的判定边界必定穿过坐标轴的原点（如图,4-10,所示）。,图,4-11,给出了这些判定边界相应的权值向量（记住权值向量与判定边界垂直）。,2.,学习规则的构造,在训练开始时，为网络的参数赋一些初始值。这里仅需对其两个权值进行初始化。这里将,1,W,的两个元素设置为如下两个随机生成的数,:,1,W,T,=1.0 -0.8 (4.21),现在将输入向量提供给网络。开始用,p,1,送入：,（,4.22,）,参考图,4-12,可以看出判决边界初始的权值向量导致了,对向量,p,1,错误分类的判决边界。我们需要调整权值向量，使它更多地指向,p,1,，以便在后面更可能得到正确的分类结果。,一种调整方法是令,1,W=p,1,。,另一种调整方法是将,p,1,加到,1,W,上。这一规则可以表述为：,如果,t=1,且,a=0,则,1,W,new,=,1,W,old,+p,（,4.23,）,在上述问题中应用这个规则，将会得到新的,1,W,值：,（,4.24,）此操作如图,4-14,所示。,现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。,设下一个输入向量是,p,2,。当它被送入该网络后，有,（,4.25,）,p,2,的目标值,t,2,等于,0,，而该网络的世纪输出,a,是,1,。所以一个属于类,0,的向量被错误划分为类,1,了。,既然现在的目的是将,1,W,从输入向量所指的方向移开，因此可以将式（,4.23,）中的加法变为减法如果,t=0,且,a=1,则,1,W,new,=,1,W,old,-p,（,4.26,）,如果在测试问题中应用该规则，可求出,（,4.27,）,结果如图,4-15,所示。,现在将第三个输入向量,p,3,送入该网络：,（,4.28,）,可以看出，这里,1,w,所形成的判定边界也错误划分了,p,3,。所以按照式（,4.26,）对,1,w,进行修正：,（,4.29,）,如图,4-16,表明该感知机最终可以对上述三个输入向量进行正确的分类。,第三条规则：如果感知机能够正确工作，则不用改变权值向量：,如果,t=a,则,1,W,new,=,1,W,old,（,4.30,）,下面是涵盖了实际输出值和目标输出值所有可能组合的三条规则：,（,4.31,）,3.,统一的学习规则,式（,4.31,）中的三条规则可以统一表示为一个表达式。首先将感知机的误差定义为一个新的变量,e,：,e=t-a,(4.32),现在可将式（,4.31,）中的三条规则重写为,：,如果,e=1,则,1,w,new,=,1,w,old,+p,如果,e=-1,则,1,w,new,=,1,w,old,-p,（,4.33,）,如果,e=0,则,1,w,new,=,1,w,old,如果,t=1,且,a=0,则,1,w,new,=,1,w,old,+p,如果,t=0,且,a=1,则,1,w,new,=,1,w,old,-p,如果,t=a,则,1,w,new,=,1,w,old,可以将上述三条规则统一成一个表达式：,1,w,new,=,1,w,old,+ep=,1,w,old,+(,t-a,),p,（,4.34,）,将上式中的,p,用偏置值的输入,1,替换，得到感知机的偏置值学习规则：,b,new,=,b,old,+e,（,4.35,）,4.,多神经元感知机的训练,由式（,4.34,）和式（,4.35,）给出的感知机规则，修改单神经元感知机的权值向量。我们能把这个规则按照如下方法推广到如图,4-1,所示的多神经元感知机。权值矩阵的第,i,行用下式进行修改：,1,w,new,=,1,w,old,+e,i,p (4.36),而偏置向量的第,i,个元素则按下式进行修改：,b,i,new,=,b,i,old,+e,i,(4.37),感知机规则,W,new,=,W,old,+ep,T,和,b,new,=,b,old,+e,4.2.4,收敛性证明,图,4-17,单神经元感知机,这个感知机的输出可由下式得到：,a=hardlim(,1,w,T,p+b),网络提供了正确反映网络行为的下述实例：,p,1,t,1,p,2,t,2,p,Q,t,Q,其中每个目标输出,t,q,取值,0,或,1,。,1.,记号,n=,1,w,T,p+b=,x,T,z,x,new,=,x,old,+ez,其中,z(k-1),是如下集合中的一个元素：,z,1,z,2,z,Q,-z,1,-z,2,-,z,Q,现假设存在对所有,Q,个输入向量进行正确分类的权值向量，并将这一解记为,X*,。对该权值向量，假设,如果,t,q,=1,那么,x*,T,z,q,0,以及 如果,t,q,=0,那么,x*,T,z,q,-,k,上界：,下界：,x(k,)=z,(0)+z(1)+z(k-1),请注意该证明是建立在下面三条关键假设基础之上的：,1,）问题的解存在。,2,）仅在输入向量被错误分类时才改变权值。,3,）输入向量长度的上界存在。,3.,局限性,线性可分性,4.3,小结,感知机的结构,a=,hardlim(Wp+b,),ai,=,hardlim,(ni,)=,hardlim,(iWTP+bi,),判定边界,感知机学习规则,iWTp+bi,=0,W,new,=,W,old,+ep,T,b,new,=,b,old,+e,其中,e=t-a,。,4.4,结束语,本章介绍了我们的第一个学习规则,-,感知机学习规则。感知机学习规则属于有监督学习类型，其中学习规则用一组正确反映网络行为的实例的方式提供。当每个输入送入网络后，该规则调整网络参数，使网络的实际输出逐步接近相应输入的目标值。,