机器学习算法分享——《SVD》PPT.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,SVD,特征值,奇异值,1,Netflix Prize,背景介绍,目标：,悬赏,100,万美元，将,Netflix,的推荐算法预测准确度提高,10%,。,数据结构：,用户,ID,、电影名称、日期、分数（,1-5,之间的整数）,训练数据：,48,万用户对两万部电影的上亿条评分,包括一个,与测试数据集分布相同,的,probe,数据集，包含,06,年附近,140,多万条的数据点，每个用户至少对,9,部电影进行了打分，服从,正态分布,。,测试数据：,280,万个数据点（,隐藏的,，参赛选手不能获得，并且参赛选手自己也不能获得自己模型作用在测试数据集上的最终效果）,评测标准：,均方误差根,CineMatch,精度,：,0.951,2,2025/1/5 周日,数据示例,1,3,2025/1/5 周日,数据示例,2,movie1,movie2,movie3,movie4,movie5,movie6,movie7,movie8,movie9,movie10,user1,1,2,1,2,4,4,2,2,3,1,user2,2,2,1,1,1,1,1,3,2,1,user3,1,2,2,2,3,4,1,1,2,2,user4,2,4,3,1,1,3,3,1,1,4,user5,4,1,1,2,1,3,2,3,4,4,user6,4,1,3,3,2,3,4,4,4,4,user7,1,4,4,4,2,1,1,1,2,4,user8,3,1,4,2,2,1,2,2,3,1,user9,2,2,1,2,3,4,4,4,1,1,user10,4,3,3,2,2,4,2,1,2,3,黄色数据点代表,probe,数据集，用于参赛选手自己做测试用,蓝色数据点代表最终的测试数据，对参赛的人来说是隐藏的,4,2025/1/5 周日,矩阵运算（,1,）,5,2025/1/5 周日,矩阵运算（,2,）,mn,nm,mm,nm,mn,nn,6,2025/1/5 周日,矩阵运算（,3,）,7,2025/1/5 周日,线性空间,线性空间：“客观”存在的一种空间，对加法和数乘具有封闭性。,向量：既有大小又有方向的量，同时,没有起点,线性空间的基：描述空间内向量的一组“特殊”的向量，空间内的所有向量都能被一组基的线性组合表示。,举例：直线就是一维的线性空间，平面就是二维线性空间，三维立体空间就是三维线性空间。,8,2025/1/5 周日,线性空间的基,x=(1,0),y=(0,1),c(5,3)=5x+3y,则,c,在基,x,，,y,下的坐标为,(5,3);,a=(1.5,1.5),b=(2,0),c=(5,3)=2a+b,则,c,基,a,，,b,下的坐标为,(2,1);,基实际就是一组人为规定的参照物，用来描述空间内的其他向量,9,2025/1/5 周日,线性映射,&,线性变换,空间内的线性映射称之为线性变换。,10,2025/1/5 周日,线性变换的矩阵表示,11,2025/1/5 周日,线性变换,二维空间上，对,(x,y),做变换：,对应矩阵,A,12,2025/1/5 周日,求解特征值,13,2025/1/5 周日,求解特征向量,14,2025/1/5 周日,特征值的几何意义（,1,）,15,2025/1/5 周日,特征值的几何意义（,2,）,16,2025/1/5 周日,特征值的几何意义（,3,）,17,2025/1/5 周日,对角化变换（特征值分解）,如果线性变换的特征向量可以构成线性空间的一组基，那么有,表示线性变换（矩阵）可以由其特征根和特征向量还原,18,2025/1/5 周日,方阵还原,矩阵维度相当大时，可以用对角化变化的方法来逼近矩阵：,特征向量：矩阵的特征,特征值：各特征所占的权重,19,2025/1/5 周日,思考,1,特征值分解使用条件有限，仅适用于,方阵,，且要求是,实对称,矩阵。,试想：如果需要分析的矩阵不是方阵（事实经常如此），该怎样处理呢？,20,2025/1/5 周日,SVD,简介,SVD,：奇异值分解,SVD,可以看做是特征值分解的一种推广，或者说特征值分解可以看作是,SVD,的一种特例。当矩阵不是方阵时同样适用，应用很广。,21,2025/1/5 周日,SVD,分解,(1),非零奇异值，,从大到小,依次排序,左奇异向量,右奇异向量,22,2025/1/5 周日,SVD,分解,(2),奇异值,从大到小,依次排序,23,2025/1/5 周日,SVD,分解,(3),奇异值,从大到小,依次排序,24,2025/1/5 周日,SVD,算法解析,可以看作是矩阵,A,的“平方”，而奇异值又是,A,“平方”阵的特征根的开方，因此,奇异值,可以看作是矩阵,A,的,“伪特征向量”,，,左奇异向量,可以看作矩阵,A,的,“行特征向量”,，,右奇异向量,可以看作是矩阵,A,的,“列特征向量”,。,奇异值,从大到小,依次排序,25,2025/1/5 周日,SVD,矩阵近似（,1,）,奇异值从大到小依次排序,26,2025/1/5 周日,SVD,矩阵近似（,2,）,27,2025/1/5 周日,SVD,应用,推荐算法,会员,电影,喜剧,恐怖,偏好,ID,宿醉,东成西就,大话西游,八星报喜,午夜凶铃,咒怨,林中小屋,寂静岭,喜剧,至尊宝,4,4,5,5,2,3,2,3.75,小小宝,5,5,5,4,2,2,3,1,流氓兔,5,4,4,5,2,3,1,2,霹*雳,5,4,5,5,3,2,1,2,中原不败,4,5,5,4,2,1,3,2,恐怖,魂飞魄散,1,2,3,2,5,3.875,5,5,荒村少年,3,1,2,2,4,5,4,4,憨豆豆,2,1,3,2,4,5,4,5,怪大叔,2,2,3,1,5,5,5,4,美味僵尸,1,3,2,1,4,5,4,5,28,2025/1/5 周日,SVD,矩阵变换,4,4,5,5,2,3,2,3.75,5,5,5,4,2,2,3,1,5,4,4,5,2,3,1,2,5,4,5,5,3,2,1,2,4,5,5,4,2,1,3,2,1,2,3,2,5,3.875,5,5,3,1,2,2,4,5,4,4,2,1,3,2,4,5,4,5,2,2,3,1,5,5,5,4,1,3,2,1,4,5,4,5,4,5,5,5,4,1,3,2,2,1,4,5,4,4,5,2,1,1,2,3,5,5,4,5,5,3,2,3,3,2,5,4,5,5,4,2,2,2,1,1,2,2,2,3,2,5,4,4,5,4,3,2,3,2,1,3.875,5,5,5,5,2,3,1,1,3,5,4,4,5,4,3.75,1,2,2,2,5,4,5,4,5,126,115,133,121,90,95,84,88,115,117,129,113,88,90,86,88,133,129,151,131,111,114,107,112,121,113,131,121,86,90,79,88,90,88,111,86,123,128,119,125,95,90,114,90,128,142,124,135,84,86,107,79,119,124,122,122,88,88,112,88,125,135,122,134,29,2025/1/5 周日,SVD,求奇异值,由于奇异值（,特征的权重,）下降的速度非常快，表明矩阵的信息量集中分布在前几个较大的特征值中，本例中提取前,2,个特征。,30,2025/1/5 周日,SVD,右奇异向量解析,可以看作电影的本身的,精彩程度,的特征,可以看做有关电影,影片类型,的特征,影片类型,片名,特征,1,（,29.7,）,特征,2,（,11.4,）,得分均值,喜剧,宿醉,0.34,0.39,3.20,东成西就,0.33,0.34,3.10,大话西游,0.40,0.29,3.70,八星报喜,0.33,0.40,3.10,恐怖,午夜凶铃,0.35,-0.31,3.30,咒怨,0.37,-0.37,3.49,林中小屋,0.34,-0.34,3.20,寂静岭,0.36,-0.37,3.38,31,2025/1/5 周日,SVD,左奇异向量解析,可以看做是会员的,打分习惯,特征,可看做是会员对影片,类型偏好,的特征,偏好,ID,特征,1,（,29.7,）,特征,2,（,11.4,）,打分平均值,喜剧,至尊宝,0.34,0.23,3.59,小小宝,0.32,0.34,3.38,流氓兔,0.31,0.32,3.25,霹*雳,0.32,0.35,3.38,中原不败,0.31,0.31,3.25,恐怖,魂飞魄散,0.32,-0.33,3.36,荒村少年,0.30,-0.27,3.13,憨豆豆,0.31,-0.31,3.25,怪大叔,0.32,-0.34,3.38,美味僵尸,0.30,-0.34,3.13,32,2025/1/5 周日,SVD,模型打分（,1,）,29.7,11.4,宿醉,午夜凶铃,东成西就,寂静岭,大话西游,八星报喜,各部分得分权重,计算至尊宝对,寂静岭,的评分,至尊宝,0.34,0.23,小小宝,0.32,0.34,流氓兔,0.31,0.32,霹*雳,0.32,0.35,中原不败,0.31,0.31,魂飞魄散,0.32,-0.33,荒村少年,0.30,-0.27,憨豆豆,0.31,-0.31,怪大叔,0.32,-0.34,美味僵尸,0.30,-0.34,0.34,0.33,0.40,0.33,0.35,0.37,0.34,0.36,0.39,0.34,0.29,0.40,-0.31,-0.37,-0.34,-0.37,咒怨,林中小屋,影片相对客观分数,影片类型适应度得分得分,33,2025/1/5 周日,SVD,模型打分（,2,）,29.7,11.4,宿醉,午夜凶铃,东成西就,寂静岭,大话西游,八星报喜,影片相对客观分数,影片类型适应度得分得分,各部分得分权重,计算魂飞魄散对,咒怨,的评分,至尊宝,0.34,0.23,小小宝,0.32,0.34,流氓兔,0.31,0.32,霹*雳,0.32,0.35,中原不败,0.31,0.31,魂飞魄散,0.32,-0.33,荒村少年,0.30,-0.27,憨豆豆,0.31,-0.31,怪大叔,0.32,-0.34,美味僵尸,0.30,-0.34,0.34,0.33,0.40,0.33,0.35,0.37,0.34,0.36,0.39,0.34,0.29,0.40,-0.31,-0.37,-0.34,-0.37,咒怨,林中小屋,34,2025/1/5 周日,SVD,结果简要测评,至尊宝的观影历史显示其对喜剧类的电影评分较高，对恐怖电影普遍评分较低，因此可以推测他应该是,不喜欢,看,寂静岭,的，模型给出的打分为,2.6,，与实际情况是相符的。,魂飞魄散的观影历史显示其对恐怖类的电影评分较高，对喜剧电影普遍评分较低，因此可以推测他应该是很,喜欢,看,寂静岭,的，模型给出的打分为,4.9,，与实际情况是相符的。,偏好,ID,宿醉,东成西就,大话西游,八星报喜,午夜凶铃,咒怨,林中小屋,寂静岭,喜剧,至尊宝,4,4,5,5,2,3,2,2.6,恐怖,魂飞魄散,1,2,3,2,5,4.9,5,5,35,2025/1/5 周日,