奇异值分解及应用.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,定理,：设,则存在,使得,右式称为矩阵,A,的,等价标准型,酉等价,：设,若存在,m,阶酉矩阵,U,和,n,阶酉矩阵,V,，使得,则称,A,与,B,酉等价,。,矩阵的奇异值分解,就是矩阵在,酉等价,下的一种,标准型,。,第一节 奇异值分解,引理,1,证明 设,是,A,H,A,的特征值，,x,是相应的特征向量，则,A,H,Ax=x,由于,A,H,A,为,Hermite,矩阵，故,是实数。又,同理可证,AA,H,的特征值也是非负实数。,证明 设,x,是方程组,A,H,Ax=0,的非,0,解,，,引理,2,则由,得,对于,Hermite,矩阵,A,H,A,，,AA,H,，,设,A,H,A,，,AA,H,有,r,个非,0,特征值，分别记为,即：,A,H,A,与,AA,H,非,0,特征值相同，并且非零特征值的个数为,奇异值的定义,说明：A的正奇异值个数等于 ，并且A与A,H,有相同的奇异值。,定理 酉等价,的矩阵有,相同的奇异值,由,奇异值分解定理,设,A,是秩为,的,则存在,阶酉矩阵,矩阵,与,阶酉矩阵,使得,其中,为矩阵,A,的全部奇异值,.,证明,设矩阵 的特征值为,则存在n阶酉矩阵 ，使得,将,分块为,其中,，,分别是,的前,r,列与后,列,.,并改写式为,则有,由的第一式可得,由的第二式可得,令,，则,，即,的,r,个列是两两正交的,单位向量,.,记,因此可将,扩充成,标准正交基,，记,增添的向量为,，并构造矩阵,则,是,m,阶正交矩阵,且有,于是可得,称上式为矩阵,A,的奇异值分解,.,推论,在矩阵,A,的,奇异值分解,A,=,UDV,H,中，,U,的列向量为,AA,H,的特征向量，,V,的列向量为,A,H,A,的特征向量,.,1,求矩阵,A,H,A,的酉相似对角矩阵及酉相似矩阵,V,;,5,构造奇异值分解,4,扩充,U,1,为酉矩阵,U=(,U,1,U,2,),3,令,2,记,奇异值分解方法,1,利用矩阵,A,H,A,求解,例,1,、求矩阵,的奇异值分解,可求得 的特征值为,对应的特征向量依次为,于是可得：,令,其中,计算：,构造：,则,的奇异值分解为,奇异值分解方法,2-,利用矩阵,AA,H,求解,1,先求矩阵,AA,H,的酉相似对角矩阵及酉相似矩阵,U,;,4,扩充,V,1,为酉矩阵,V=(,V,1,V,2,),5,构造奇异值分解,2,记,3,令,例 求矩阵,A,的奇异值分解,利用矩阵,AA,H,求解,第二节 奇异值分解的性质与应用,1.,奇异值分解可以降维,A,表示,个,维向量，可以通过奇异值分解表示成,个 维向量,.,若,A,的秩,远远小于,和,则通过奇异值分解可以降低,A,的维数,.,可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求,.,2.,奇异值对矩阵的扰动不敏感,特征值对矩阵的扰动敏感,.,在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵,A,、,B,的按从大到小排列的奇异值 和,有,3.,奇异值的比例不变性,即 的奇异值是,A,的奇异值的 倍,.,4.,奇异值的旋转不变性,.,即若,P,是正交阵，,PA,的奇异值与,A,的奇异值相同,.,奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用,.,5.,容易得到,矩阵,A,的秩为,的一个最佳逼近矩阵,.,A,是矩阵,的加权和，其中权系数按递减排列：,假设推荐系统中有用户集合有,6,个用户，即,U=u1,u2,u3,u4,u5,u6,，,项目（物品）集合有,7,个项目，即,V=v1,v2,v3,v4,v5,v6,v7,，,用户对项目的评分结合为,R,，,用户对项目的评分范围是,0,5,，如图所示。,推荐系统,推荐系统的目标就是预测出符号“？”对应位置的分值。推荐系统基于这样一个假设：用户对项目的打分越高，表明用户越喜欢。因此，预测出用户对未评分项目的评分后，根据分值大小排序，把分值高的项目推荐给用户。,矩阵分解目标就是把用户,-,项目评分矩阵,R,分解成用户因子矩阵和项目因子矩阵乘的形式，即,R=UV,，,这里,R,是,nm,，,n=6,，,m=7,，,U,是,nk,，,V,是,km,，如图所示。,