第6篇神经网络中线性变换.pptx

,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第六章 神经网络中的线性变换,6.1,目的,6.2,理论和实例,6.2.1,线性变换,6.2.2,矩阵表示,6.2.3,基变换,6.2.4,特征值和特征向量,6.3,小结,6.1,目的,本章接着第五章继续讨论神经网络分析所需要的数学基础。第五章复习了有关向量空间的内容，本章将探讨在神经网络中所采用的线性变换。,6.2,理论和实例,hopfield,网络通过下式同步对网络输出进行修改,a(t+1)=,satlin,(Wa(t)+b),6.2.1,线性变换,变换,一个变换由以下三部分组成,（,1,）一个被称为定义域的元素集合,X=,（,2,）一个被称为值域的元素集合,Y=,（,3,）一个将每个 和一个元素 相联系的规则。,线性变换,一个变换 是线性的，如果,1,）对所有的,2,）对所有的,假设某个变换 是在二维空间 中将一个向量旋转 角，如图,6-2,所示。图,6-3,和图,6-4,表示该旋转变换满足线性变换定义中的条件,1,。图,6-5,表示旋转变换满足线性变换定义中的条件,2,。,6.2.2,矩阵表示,设 是向量空间,X,的一个基底，,是向量空间,Y,的一个基。即是对任意两个向量 ，有,设 是一个定义域为,X,值域为,Y,的线性变换,那么,可以写成,此式正好是下面形式的矩阵乘,下面将以旋转变换为例，来讨论变换的矩阵表示，看看 如何找到该变换的矩阵表示。这里的定义域和值域相同（）。为简单起见，对其采用标准基,如图,6-6,所示。,第,1,步是对第一个基向量进行变换，并且,以基向量的形式展开变换后的向量。如果,将向量,s,1,逆时针旋转一个角度 ，可得,如图,6-7,所示。,第,2,步是对第二个基向量进行变换。如果将向量,s,2,逆时针旋转一个角度 ，可得,如图,6-8,所示。完整的矩阵表示可以由下式给出：,6.2.3,基变换,考虑一个线性变换：。设,是向量空间,X,的一个基，是向量空间,Y,的一个基。所以有,所以，如果,那么变换 的矩阵表示形式是,或,Ax=y,现在假设对,X,和,Y,使用不同的基集。设,t,1,t,2,t,n,是,X,的新基集,w,1,w,2,w,m,是,Y,的新基集。那么，向量,可写成,向量 可写成,得到如下新的矩阵表示：,或,A,(x)=y,那么，,A,和,A,之间的关系是什么呢？要解答这个问题，必须找出两个基集之间的关系。首先，由于每个,t,i,是,x,的一个元素，那么可以按照,X,原先基集的形式展开：,其次，因为每个,w,i,是,Y,的一个元素，所以也可以按照,Y,原先基集的形式展开：,所以，基向量可以写成如下的列向量表示形式：,定义一个列为,t,i,的矩阵：,B,t,=t,1,t,2,t,n,X=x,1,t,1,+x,2,t,2,+x,n,t,n,=B,t,x,定义一个列为,w,i,的矩阵：,B,w,=w,1,w,2,w,m,y=B,w,y,现在将,X=x,1,t,1,+x,2,t,2,+x,n,t,n,=B,t,x,和,y=B,w,y,代入到,Ax=y,，可得,AB,t,X,=B,w,y,如果我们用,B,w,-1,乘以上式的两边，有,B,w,-1,AB,t,x,=y,基变换,A,=B,w,-1,AB,t,相似变换,现在利用基,t,1,t,2,找到一个新的矩阵表示（如图,6-9,所示）。,第一步，按照标准基的形式对,t,1,和,t,2,进行,展开。观察图,6-9,可知：,t,1,=s,1,+0.5s,2,t,2,=-s,1,+s,2,现在可以得到矩阵,取,=30,为了检验这些矩阵是否正确，假设和 相对应的测试向量是：,变换后的测试向量是,这些向量表示在图,6-10,中。,6.2.4,特征值和特征向量,特征值 特征向量,考虑一个线性变换：,XX(,定义域和值域相同,),。分别称满足下式的那些不等于,0,的向量 和标量,分别是特征向量和特征值：,假设选择了,n,维向量空间,X,的一个基，,那么,或,现在，重新看看前面的旋转实例。如果采用标准基集，那么变换的矩阵是,有,或,2,-2,cos,+(cos,),2,+(sin,),2,)=,2,-2,cos,+1=0,该等式的根是,1,=cos,+jsin,2,=cos,-jsin,考虑另外一个矩阵：,为了找到其特征值，必须求解,或,得特征值,为了找到其特征向量，求解,首先将,1,代入上式，可得,或,将,2,代入，,或,下面两式验证了结果的正确性：,对角化,设,其中,z,1,z,2,z,n,是一个矩阵,A,的特征值。然后求,其中,1,2,n,是矩阵,A,的特征值。,6.3,小结,变换,线性变换,矩阵表示,基变换,特征值和特征向量,对角化,