SVD矩阵的奇异值分解.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,线性代数的几个基本概念,张剑湖,2010,年,7,月,(,一,),引 言,数学的表述方式和抽象性产生了全面的升华,!,F,几何的抽象化,实用,直观,抽象,(a,b,，,c),按照现行的国际标准，线性代数是通过公理化、系统性表述的，具有很强的逻辑性、抽象性，是第二代数学模型,.,通常的教学模式,概念,相应定理公式,例题求解,直觉性丧失,！,向量表面上只是一列数，但是其实由于它的有序性，所以除了这些数本身携带的信息之外，还可以在每个数的对应位置上携带信息,.,线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式,.,向量是什么？,向量是具有n个相互独立的性质（维度）的对象的表示,问 题,矩阵是什么？,矩阵的乘法规则怎样定义？,矩阵的相似是什么意思？,特征值的本质是什么？,纯粹的数学理论描述、证明不能令人满意和信服,！,一、线性空间和矩,阵的几个核心概念,基本定义,:,存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就可以被称为空间,.,空 间,为什么要用“空间”来称呼一些这样的集合呢,？,奇怪,!,三维的空间,由很多（实际上是无穷多个）位置点组成；,这些点之间存在相对的关系；,可以在空间中定义长度、角度；,这个空间可以,容纳运动,.,这里我们所说的运动是从一个点到另一个点的跳跃（变换）,而不是微积分意义上的“连续”性的运动,.,容纳运动是空间的本质特征,“,空间,”,是容纳运动的一个对象,集合，而空间的运动由变换所规定,.,矩阵,矩阵是什么？,1.,矩阵只是一堆数，如果不对这堆数建立一些运算规则,.,2.,矩阵是一列列向量，如果每一列向量列举了对同一个客观事物的多个方面的观察值,.,3.,矩阵是一个图像，它的每一个元素代表相对位置的像素值,.,4.,矩阵是一个线性变换，它可以将一些向量变换为另一些向量,.,要回答,“,矩阵是什么,”,，取决于你从什么角度去看它,.,矩阵与,线性变换,在线性空间中，当选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）,.,也即对于任何一个线性变换，都能够用一个确定的矩阵来加以描述,.,.,在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动,.,而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量,.,用矩阵与向量的乘法施加运动,.,矩阵是线性空间中的线性变换的一个描述,线性变换不同于线性变换的一个描述,对于同一个线性变换，选定一组基，就可,以找到一个矩阵来描述这个线性变换；换一组,基，就得到一个不同的矩阵,.,所有这些矩阵都是这同一个线性变换的描,述，但又不是线性变换本身,.,同一个线性变换的矩阵具有性质：,若,A,和,B,是同一个线性变换的两个不同矩阵，,则一定存在非奇异矩阵,P,，使得,即,同一个线性变换在不同的坐标系下表现为不同,的矩阵，但其本质相同，所以特征值相同,.,相似矩阵，就是同一个线性变换的不同的描述矩阵,.,或者说相似矩阵都是同一个线性变换的描述,.,线性变换可以用矩阵的形式呈现，也就是说，矩阵是形式，而变换,也就是各种映射才是本质，而代数的重要任务之一就是研究各种数学结构之间的关系,也就是映射,.,维线性空间里的方阵 的 个 维向量如果线性无关，那么它们就可以成为度量 维线性空间的一组基，事实上就是一个坐标系体系,.,矩阵与坐标系,矩阵描述了一个坐标系,变换,坐标,从变换的观点来看，对坐标系,M,施加,R,变换，,就是对组成坐标系,M,的每一个向量施加,R,变换,.,从坐标系的观点来看，对坐标系,M,的每一个,基向量，把它在,I,坐标系中的坐标找出来,然后通,过,R,组成一个新的（坐标系）矩阵,.,M,I,T,矩阵既是坐标系，又是变换,.,数学定义：,矩阵就是由 行 列数,放在一起组成的数学对象,数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类对数学某些局部理解的精微,.,这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样,.,数学容许我们每个人按自己的理解方式来理解,这就看你怎样对它加工，使它明确、使它华丽、使它完美,.,使它更易于理解和使用,.,这个过程也就是一个人学懂数学的过程,.,数无形时少直观,形无数时难入微,数形结合百般好,隔离分家万事休,.,-,华罗庚,将抽象思维形象化,将理论知识实用化,二、矩阵的四个基本子空间,记：,基本定义,Column space,n=5,Row space,m=3,r=2,设,A,的行阶梯形为,Notice,则存在可逆矩阵,B,使得,m=3,n=5,r=2,Pivot rows 1 and 2,Pivot columns 1 and 4,例,1,Null space,有三个自由变量：方程,有解：,方程,组,中，若 不等,于,0,且有解，,则,其解不,会构,成子空,间,，因,为没,有,0,元素,.,Left nullspace,Left nullspace,?,设,由,例,2,行基,(3,2,-1),(0,1,2),(1,0,3),N(A),例,3,则,由,解得,则,显然,Row space,all A,T,y,Column space,all A,x,Nullspace,A,x,=,0,Left nullspace,A,T,y,=,0,C(A,T,),dim r,R,n,N(A),dim n-r,R,m,C(A),dim r,N(A,T,),dim m-r,互为正交补,AX=b,有解,b N(A,T,),R,n,Row space,nullspace,Left nullspace,Action of on,Column,space,例,4,若,分解,得,三、矩阵的奇异值分解,应用领域,1.,最优化问题；,特征值问题；,最小二乘问题；,广义逆矩阵问题等,.,2.,统计分析；,信号与图像处理；,系统理论和控制等,.,矩阵的正交对角分解,若,A,是,n,阶实对称矩阵，则存在正交矩阵,Q,，使得,(1),其中 为矩阵,A,的特征值，而,Q,的,n,个列向,量组成,A,的一个完备的标准正交特征向量系,.,对于实的非对称矩阵,A,，不再有像式（,1,）的分解，但却存在两个正交矩阵,P,和,Q,，使 为对角矩阵，即有下面的正交对角分解定理,.,定理,设 非奇异，则存在正交矩阵,P,和,Q,，使得,(2),其中,证,因为,A,非奇异，所以 为实对称正定矩阵，于是存 在正交矩阵,Q,使得，,其中 为 特征值,令,则有,或者,再令,于是有,即,P,为正交矩阵，且使,改写式,(2),为,(3),称式（,3,）为,正交矩阵,A,的正交对角分解,引理：,1.,设 则 是对称矩阵，,且其特征值是非负实数,.,2.,3.,设 则 的充要条件是,定义 设 是秩为,的,实矩阵，,的特征值为,则称,为,A,的奇异值,.,奇异值分解定理,设,A,是秩为,的,则存在,阶正交矩阵,实矩阵,与,阶正交矩阵,使得,其中,为矩阵,A,的全部奇异值,.,证明,设实对称矩阵 的特征值为,则存在n阶正交矩阵 ，使得,将,分块为,其中,，,分别是,的前,r,列与后,列,.,并改写式为,则有,由的第一式可得,由的第二式可得,令,，则,，即,的,r,个列是两两正交的,单位向量,.,记,因此可将,扩充成,的标准正交基，记,增添的向量为,，并构造矩阵,则,是,m,阶正交矩阵,且有,于是可得,称上式为矩阵,A,的奇异值分解,.,在矩阵理论中，奇异值分解实际上是,“,对称矩阵正交相似于对角矩阵,”,的推广,.,奇异值分解中,是,的特征向量，而,的列向量是,的特征向量，并且,与,的非零特征值完全相同,.,但矩阵,的奇异值分解不惟一,.,注意,数值秩,在没有误差时，奇异值分解可以确定矩阵的秩,.,但是误差的存在使得确定变得非常困难,.,例如，考虑矩阵,因为第三列是前两列的,和，所以,A,的秩是,2.,如果不考虑到这个关系，,运用,IEEE,标准的双精度浮点计算模式，,用,MATLAB,命令,SVD,计算,A,的奇异值：,format long e,A=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7,；,D=svd(A),计算结果为：,D=,2.421457493421318e+000,3.406534035359026e-001,1.875146052457622e-016,因为有,“,三,”,个非零奇异值，所以,A,的秩,为,“,3,”.,然而，注意到在,IEEE,双精度的标准下,其中一个奇异值是微小的,.,也许应该将它看作,零,.,因为这个原因，引人数值秩的概念,.,如果矩阵 有,个“大”的奇异值，而其它都很“微小”，则称 的数值秩为,.,为了确定哪个奇异值是“微小”的，需要引人阈值或容忍度,.,就,MATLAB,而言，可以把,设为阈值，大于这个阈值的奇异值的数目就是,A,的数值秩，把小于这个阈值的奇异值看作零,.,利用,MATLAB,的命令,rank,计算 的秩，它的结果是,2,，就是这个道理,.,求矩阵,的奇异值分解,解,:,MATLAB,程序为：,A=0,-1.6,0.6;0,1.2,0.8;0,0,0;0,0,0,U,S,V=svd(A),计算结果,A=,0 -1.6000 0.6000,0 1.2000 0.8000,0 0 0,0 0 0,U=,0.8000 0.6000 0 0,-0.6000 0.8000 0 0,0 0 1.0000 0,0 0 0 1.0000,S=,2.0000 0 0,0 1.0000 0,0 0 0,0 0 0,V=,0 0 1.0000,-1.0000 0.0000 0,0.0000 1.0000 0,奇异值分解的几何意义,研究将一个空间映射到不同空间，特别是,不同维数的空间时，例如超定或欠定方程组所,表示的情况，就需要用矩阵的奇异值来描述算,子对空间的作用了,.,考察二维平面上的单位圆,在映射,A,下的变换过程,其中,MATLAB,程序为：,A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2);1sqrt(2),1sqrt(2),U,S,V=svd(A),V,是正交矩阵，表示二维空间的一个旋转,S,将平面上的圆变换到三,维空间坐标平面上的椭 圆,V,是正交矩阵，表示二维空间的一个旋转,S,维,将 空,平 间,面 坐,上 标,的 平,圆 面,变 上,换 的,到 椭,三 圆,U,是正交矩阵，表示三维空间的一个旋转,当,A,是方阵时，其奇异值的几何意义是,:,若,x,是,维单位球面上的一点，则,是一个,维,椭球面上的点，其中椭球的,个半轴长正好是,A,的,个奇异值,.,简单地说，在,2,维情况下，,A,将单位圆变成了椭圆，,A,的两个奇异值是椭圆的长半轴和短半轴,.,设,A,是秩为,的,实矩阵，,A,的奇异值分解为：,即,且,奇异值分解的性质,则,（,1,）,A,的非零奇异值的个数等于它的秩,r,，即,（,2,）,是,的标准正交基,.,（,3,）,是,的标准正交基,.,（,4,）,是,的标准正交基,.,（,5,）,是,的标准正交基,.,从上面的结论可以得到,同构,奇异值分解的特征,1.,奇异值分解可以降维,A,表示,个,维向量，可以通过奇异值分解表示成,个 维向量,.,若,A,的秩,远远小于,和,则通过奇异值分解可以降低,A,的维数,.,可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求,.,2.,奇异值对矩阵的扰动不敏感,特征值对矩阵的扰动敏感,.,在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵,A,、,B,的按从大到小排列的奇异值 和,有,3.,奇异值的比例不变性,即 的奇异值是,A,的奇异值的 倍,.,4.,奇异值的旋转不变性,.,即若,P,是正交阵，,PA,的奇异值与,A,的奇异值相同,.,奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用,.,5.,容易得到矩阵,A,的秩为,的一个最佳逼近矩阵,.,奇异值的这个特征可以应用于信号的分解和重构，提取有用信息，消除信号噪声,.,由矩阵,A,的奇异值分解,可见，,A,是矩阵,的加权和，其中权系数按递减排列：,矩阵的秩,逼近,好的矩阵,A,，这一点在数字图像处理方面非常有用,.,矩阵的秩,k,逼近定义为,秩,逼近就精确等于,A,，而秩,1,逼近的误差最大,.,因此当舍去权系数小的一些项后，仍然能较,显然，权系数大的那些项对矩阵,A,的贡献大,在,MATLAB,中，秩,逼近的程序如下：,clear,A=2,7,9,-5,4;-9,-9,5,3,-2;-2,5,-1,-3,5;-4,9,0,9,-4,sumA=zeros(4,5);,k=3,U,D,V=svd(A);,for i=1:k,sumA=sumA+D(i,i)*U(:,i)*V(:,i);,end,sumA,或者,clear,A=input(,请输入矩阵,A,的值,:A=),sumA=zeros;,U,D,V=svd(A);,k=input(,请输入,k,的值,:),for i=1:k,sumA=sumA+D(i,i)*U(:,i)*V(:,i);,end,sumA,6.,奇异值的第六个特征是若,A,、,B,都有相同的奇异向量，则,也就是说，我们可以通过控制奇异值的,大小来控制两个矩阵空间的距离,.,参考资料,G.STRANG.Introduction to linear algebra,W.Gander.,用,maple,和,matlab,解决科学计算问题,.,高教出版社,孟岩,.,理解矩阵,谢谢大家，,加强联系与合作！,