主成分分析(数学建模)---市公开课一等奖省赛课获奖PPT课件.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主成份分析,第1页,主成份分析要求：,1、主成份假定条件？,2、主成份方差与原始变量方差有何关系？,3、主成份怎样求解？主成份分析结构，即线性组合系数和方差数学上含义？,4、主成份分析怎样评价？,5、主成份分析应用。,第2页,一项十分著名工作是美国统计学家斯通(stone)在1947年关于国民经济研究。他曾利用美国1929一1938年各年数据，得到了17个反应国民收入与支出变量要素，比如雇主补助、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,1,引言,一、一个例子,第3页,在进行主成份分析后，斯通竟以97.4精度，用三新变量就取代了原17个变量。依据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入改变率F2和经济发展或衰退趋势F3。更有意思是，这三个变量其实都是能够直接测量。斯通将他得到主成份与实际测量总收入I、总收入改变率,I,以及时间t原因做相关分析，得到下表：,第4页,F1,F2,F3,i,i,t,F1,1,F2,0,1,F3,0,0,1,i,0.995,-0.041,0.057,l,i,-0.056,0.948,-0.124,-0.102,l,t,-0.369,-0.282,-0.836,-0.414,-0.112,1,第5页,主成份分析是把各变量之间相互关联复杂关系进行简化分析方法。,在社会经济研究中，为了全方面系统分析和研究问题，必须考虑许多经济指标，这些指标能从不一样侧面反应我们所研究对象特征，但在某种程度上存在信息重合，含有一定相关性。,二、,主成份分析,意义,第6页,主成份分析试图在力保数据信息丢失最少标准下，对这种多变量截面数据表进行最正确综合简化，也就是说，对高维变量空间进行降维处理。,很显然，识辨系统在一个低维空间要比在一个高维空间轻易得多。,第7页,在力争数据信息丢失最少标准下，研究指标体系少数几个线性组合，而且这几个线性组合所组成综合指标将尽可能多地保留原来指标变异方面信息,这种分析叫主成份分析，这些综合指标就称为主成份，主成份相互独立。,第8页,1、主成份假定条件？,2、主成份方差与原始变量方差有何关系？,3、主成份怎样求解？主成份分析结构，即系数和方差数学上含义？,4、主成份分析怎样评价？,5、主成份分析应用。,要讨论问题是：,第9页,(1)基于相关系数矩阵还是基于协方差矩阵做主成份分析。当分析中所选择经济变量含有不一样量纲，变量水平差异很大，应该选择基于相关系数矩阵主成份分析。,(2)选择几个主成份。主成份分析目标是简化变量，普通情况下主成份个数应该小于原始变量个数。关于保留几个主成份，应该权衡主成份个数和保留信息。,(3)怎样解释主成份所包含经济意义。,主成份分析中要思索问题,第10页,2,数学形状与几何解释,假设我们所讨论实际问题中，有p个指标，我们把这p个指标看作p个变量，记为X,1,，X,2,，X,p,，主成份分析就是要把这p个指标问题，转变为讨论p个指标线性组合问题，而这些新指标F,1,，F,2,，F,k,(kp），按照保留主要信息量标准充分反应原指标信息，而且相互独立。,第11页,第12页,满足以下条件：,主成份之间相互独立，即无重合信息。即,主成份方差依次递减，主要性依次递减，即,每个主成份系数平方和为1。即,第13页,为了方便，我们在二维空间中讨论主成份几何意义。设有n个样品，每个样品有两个观察变量x,l,和x,2,，在由变量x,l,和x,2,所确定二维平面中，n个样本点所散布情况如椭圆状。由图能够看出这n个样本点不论是沿着x,l,轴方向或x,2,轴方向都含有较大离散性，其离散程度能够分别用观察变量x,l,方差和x,2,方差定量地表示。显然，假如只考虑x,l,和x,2,中任何一个，那么包含在原始数据中经济信息将会有较大损失。,第14页,主成份分析几何解释,平移、旋转坐标轴,第15页,主成份分析几何解释,平移、旋转坐标轴,第16页,主成份分析几何解释,平移、旋转坐标轴,第17页,主成份分析几何解释,平移、旋转坐标轴,第18页,上面四张图中，哪一个有更高精度？原始变量信息损失最少？,第19页,旋转变换目标是为了使得n个样品点在F,l,轴方向上离 散程度最大，即F,l,方差最大。变量F,l,代表了原始数据绝大 部分信息，在研究某经济问题时，即使不考虑变量F,2,也无损大局。经过上述旋转变换原始数据大部分信息集中到F,l,轴上，对数据中包含信息起到了浓缩作用。,第20页,F,l,，F,2,除了能够对包含在X,l,，X,2,中信息起着浓缩作用之外，还含有不相关性质，这就使得在研究复杂问题时防止了信息重合所带来虚假性。二维平面上个点方差大部分都归结在F,l,轴上，而F,2,轴上方差很小。F,l,和F,2,称为原始变量x,1,和x,2,综合变量。F简化了系统结构，抓住了主要矛盾。,第21页,3 主成份推导,一、线性代数结论,若,A,是p阶实对称阵，,其中,i,(,i=1,2,p)是,A,特征根。即有,u,i,，使,U,i,是正交特征向量,。,第22页,则一定能够找到正交阵,U,，使,第23页,上述矩阵特征根所对应单位特征向量为,实对称阵,A,属于不一样特征根所对应特征向量是正交，即有,则,U,为,第24页,（一）,第一主成份,设X协方差阵为,二、主成份推导,第25页,因为,x,为非负定对称阵，则有利用线性代数知识可得，必存在正交阵U，使得,其中,1,，,2,，,p,为,x,特征根，不妨假设,1,2,p,。而U恰好是由特征根相对应特征（列）向量所组成正交阵。,第26页,下面我们来看，是否由U第一列元素所组成为原始,变量线性组合是否有最大方差。,第27页,设有P维正交向量,第28页,第29页,当且仅当,a,1,=u,1,时，即 时，有最大方差,1,。因为,第一主成份信息不够，则需要寻找第二主成份。,第30页,（二）,第二主成份,在约束条件 和 下，寻找第二主成份。,因为,则，对p维向量 ，有,第31页,所以假如取线性变换，,则 方差次大。,第32页,（三）,第三主成份,在约束条件,因为,则，对p维向量 ，有,寻找第三主成份,第33页,所以假如取线性变换，,则 方差次大。,第34页,思索题：第k(kp)个特征根约为0，说明什么？,类推,说明第k到第p个特征根所对应特征向量组成线性组合等于常数，因为其方差为零。,第35页,写为矩阵形式：,第36页,4,主成份性质,一、均值,二、方差为全部特征根之和,说明主成份分析把P个随机变量总方差分解成为P个不相关随机变量方差之和。,依据：协方差矩阵,对角线上元素之和等于,特征根之和。,第37页,三、精度分析,1）贡献率：第i个主成份方差在全部方差中所占比重 ，称为贡献率,，,反应了原来P个指标多大信息，有多大综合能力,。,2）累积贡献率：前k个主成份共有多大综合能力，用这k个主成份方差和在全部方差中所占比重,来描述，称为累积贡献率。,1）贡献率：第i个主成份方差在全部方差中所占比重 ，称为贡献率,，,反应了原来P个指标多大信息，有多大综合能力,。,第38页,我们进行主成份分析目标之一是希望用尽可能少主成份F,1,，F,2,，F,k,（kp）代替原来P个指标。到底应该选择多少个主成份，在实际工作中，主成份个数多少取决于能够反应原来变量80%以上信息量为依据，即当,累积贡献率80%,时主成份个数就足够了。,最常见情况是主成份为2到3个,。,第39页,四、原始,变量与主成份之间相关系数,第40页,可见，和 相关亲密程度取决于对应线性组合系数大小。,请问:在什么场所下，x,i,和F,j,相关系数为零？,第41页,例,设 协方差矩阵为,解得特征根为 ，,，,第一个主成份贡献率为,5.83/,（,5.83+2.00+0.17,）,=72.875%,，尽管,第一个主成份贡献率并不小，但在本题中第一主成份不含第三个原始变量信息，所以应该取两个主成份。,第42页,Xi与F1,相关系数,平方,Xi与F2相关系数,平方,x,1,0.925,0.855,0,0,x,2,-0.998,0.996,0,0,x,3,0,0,1,1,第43页,F,1,F,2,F,p,x,1,x,2,x,p,第44页,五、,原始变量方差被主成份提取率,前面我们讨论了主成份贡献率和累计贡献率，它,度量了F,1,，F,2,，F,m,分别从原始变量组（X,1,，X,2,，X,P,）中提取了多少信息。,第45页,那么X,1,，X,2,，X,P,各有多少信息分别主成份组（F,1,，F,2,，F,m,）被提取了。,应该用什么指标来度量？我们考虑到当讨论F,1,分别与X,1,，X,2,，X,P,关系时，能够讨论F,1,分别与X,1,，X,2,，X,P,相关系数，不过因为相关系数有正有负，所以只有考虑相关系数平方。,第46页,是,F,j,能说明第,i,原始变量方差,原始变量方差最大大不过,1,原始变量方差最小小不过,p,第47页,是,F,j,提取第,i,原始变量信息比重，也是二者相关系数平方。,结论：x,i,与全部主成份,F,j,（j1，2，,，m）,相关系数平方和为1，即 x,i,与F,j,（j1，2，,，,m）复相关系数为1。,第48页,假如我们仅仅提出了,m,个主成份，则第,i,原始变量信息被提取率为：,第49页,例,设 协方差矩阵为,解得特征根为 ，,，,第一个主成份贡献率为,5.83/,（,5.83+2.00+0.17,）,=72.875%,，尽管,第一个主成份贡献率并不小，但在本题中第一主成份不含第三个原始变量信息，所以应该取两个主成份。,第50页,Xi与F1,相关系数,平方,Xi与F2相关系数,平方,信息提取率,x,1,0.925,0.855,0,0,0.855,x,2,-0.998,0.996,0,0,0.996,x,3,0,0,1,1,1,第51页,定义：假如一个主成份仅仅对某一个原始变量有作用，则称为特殊成份。假如一个主成份全部原始变量都起作用称为公共成份。,(该题无公共因子）,第52页,六、载荷矩阵第53页,5 主成份分析步骤,在 实际问题中，X协方差通常是未知，样品有,第一步：由X协方差阵,x,，求出其特征根，即解方程 ，可得特征根 。,一、基于协方差矩阵,第54页,第二步：求出分别所对应特征向量U,1,，U,2,，U,p,，,第三步：计算累积贡献率，给出恰当主成份个数。,第四步：计算所选出k个主成份得分。将原始数据中心化值:,代入前k个主成份表示式，分别计算出各单位k个主成份得分，并按得分值大小排队。,第55页,二、基于相关系数矩阵,假如变量有不一样量纲，则必须基于相关系数矩阵进行主成份分析。不一样是计算得分时应采取标准化后数据。,第56页,例一,应收账款是指企业因对外销售产品、材料、提供劳务及其它原因，应向购货单位或接收劳务单位收取款项，包含应收销货款、其它应收款和应收票据等。出于扩大销售竞争需要，企业不得不以赊销或其它优惠方式招揽用户，因为销售和收款时间差，于是产生了应收款项。应收款赊销效果好坏，不但依赖于企业信用政策，还依赖于用户信用程度。由此，评价用户信用等级，了解用户综合信用程度，做到“知己知彼，百战不殆”，对加强企业应收账款管理大有帮助。某企业为了了解其客户信用程度，采取西方银行信用评定惯用5C方法，5C目标是说明用户违约可能性。,第57页,1、品格（用X,1,表示），指用户信誉，推行偿还义务可能性。企业能够经过过去付款统计得到此项。,2、能力（用X,2,表示），指用户偿还能力。即其流动资产数量和质量以及流动负载比率。用户流动资产越多，其转化为现金支付款项能力越强。同时，还应注意用户流动资产质量，看其是否会出现存货过多过时质量下降，影响其变现能力和支付能力。,3、资本（用X,3,表示），指用户财务势力和财务情况，表明用户可能偿还债务背景。,4、附带担保品（用X,4,表示），指借款人以轻易出售资产做抵押。,5、环境条件（用X,5,表示），指企业外部原因，即指非企业本身能控制或操纵原因。,第58页,首先并抽取了10家含有可比性同类企业作为样本，又请8位教授分别给10个企业5个指标打分，然后分别计算企业5个指标平均值，如表。,76.5,81.5,76,75.8,71.7,85,79.2,80.3,84.4,76.5,70.6,73,67.6,68.1,78.5,94,94,87.5,89.5,92,90.7,87.3,91,81.5,80,84.6,66.9,68.8,64.8,66.4,77.5,73.6,70.9,69.8,74.8,57.7,60.4,57.4,60.8,65,85.6,68.5,70,62.2,76.5,70,69.2,71.7,64.9,68.9；,第59页,Total Variance=485.31477778,Eigenvalues of the Covariance Matrix,Eigenvalue Difference Proportion Cumulative,PRIN1 410.506 367.242 0.845854 0.84585,PRIN2 43.264 22.594 0.089146 0.93500,PRIN3 20.670 12.599 0.042591 0.97759,PRIN4 8.071 5.266 0.016630 0.99422,PRIN5 2.805 .0.005779 1.00000,Eigenvectors,PRIN1 PRIN2 PRIN3 PRIN4 PRIN5,X1 0.468814 -.830612 0.021406 0.254654 -.158081,X2 0.484876 0.329916 0.014801 -.287720 -.757000,X3 0.472744 -.021174 -.412719 -.588582 0.509213,X4 0.461747 0.430904 -.240845 0.706283 0.210403,X5 0.329259 0.122930 0.878054 -.084286 0.313677,第60页,第一主成份贡献率为84.6%，第一主成份,Z,1,=0.469X,1,+0.485X,2,+0.473X,3,+0.462X,4,+0.329X,5,各项系数大致相等，且均为正数，说明第一主成份对全部信用评价指标都有近似载荷，是对全部指标一个综合测度，能够作为综合信用等级指标。能够用来排序。将原始数据值中心化后，代入第一主成份Z,1,表示式，计算各企业得分，并按分值大小排序:,第61页,在正确评定了用户信用等级后，就能正确制订出对其信用期、收帐政策等，这对于加强应收帐款管理大有帮助。,序号,1,2,3,4,5,6,7,8,9,10,得分,3.16,13.6,-9.01,35.9,25.1,-10.3,-4.36,-33.8,-6.41,-13.8,排序,4,3,7,1,2,8,5,10,6,9,第62页,例二,基于相关系数矩阵主成份分析。对美国纽约上市相关化学产业三个证券和石油产业2个证券做了100周收益率调查。下表是其相关系数矩阵。,1）利用相关系数矩阵做主成份分析。,2）决定要保留主成份个数，并解释意义。,1,0.577,0.509,0.0063,0.0037,0.577,1,0.599,0.389,0.52,0.509,0.599,1,0.436,0.426,0.387,0.389,0.436,1,0.523,0.462,0.322,0.426,0.523,1,第63页,Eigenvalues of the Correlation Matrix,Eigenvalue Difference Proportion Cumulative,PRIN1 2.85671 2.04755 0.571342 0.57134,PRIN2 0.80916 0.26949 0.161833 0.73317,PRIN3 0.53968 0.08818 0.107935 0.84111,PRIN4 0.45150 0.10855 0.090300 0.93141,PRIN5 0.34295 .0.068590 1.00000,Eigenvectors,PRIN1 PRIN2 PRIN3 PRIN4 PRIN5,X1 0.463605 -.240339 -.611705 0.386635 -.451262,X2 0.457108 -.509305 0.178189 0.206474 0.676223,X3 0.470176 -.260448 0.335056 -.662445 -.400007,X4 0.421459 0.525665 0.540763 0.47 -.175599,X5 0.421224 0.581970 -.435176 -.382439 0.385024,第64页,依据主成份分析定义及性质，我们已大致上能看出主成份分析一些应用。概括起来说，主成份分析主要有以下几方面应用。,1,主成份分析能降低所研究数据空间维数。即用研究m维Y空间代替p维X空间(mp)，而低维Y空间代替 高维x空间所损失信息极少。即：使只有一个主成份Y,l,(即 m1)时，这个Y,l,仍是使用全部X变量(p个)得到。比如要计算Y,l,均值也得使用全部x均值。在所选前m个主成份中，假如某个X,i,系数全部近似于零话，就能够把这个X,i,删除，这也是一个删除多出变量方法。,6,主成份分析主要有以下几方面应用,第65页,2,有时可经过因子负荷a,ij,结构，搞清X变量间一些关系。,3.,多维数据一个图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究问题大都多于3个变量。要把研究问题用图形表示出来是不可能。然而，经过主成份分析后，我们能够选取前两个主成份或其中某两个主成份，依据主成份得分，画出n个样品在二维平面上分布况，由图形可直观地看出各样品在主分量中地位。,第66页,4,由主成份分析法结构回归模型。即把各主成份作为新自变量代替原来自变量x做回归分析。,5,用主成份分析筛选回归变量。回归变量选择有着重实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所组成子集合中选择最正确变量，组成最正确变量集合。用主成份分析筛选变量，能够用较少计算量来选择量，取得选择最正确变量子集合效果。,第67页,主成份回归介绍,第68页,国际旅游外汇收入是国民收入是国民经济发展主要组成部分，影响一个国家或地域旅游收入原因包含自然、文化、社会、经济、交通等多方面原因。中国统计年鉴把第三次产业划分为12个组成部分，分别为：,一、提出问题,第69页,x1：农林牧渔服务业 x2：地质勘查水利管理业,x3：交通运输仓储和邮电通讯业 x4：批发零售贸易和餐食业,x5：金融保险业 x6：房地产业,x7：社会服务业 x8：卫生体育和社会福利业,x9：教育文艺和广播 x10：科学研究和综合艺术,x11：党政机关 x12：其它行业,选自1998年我国31个省、市、自治区数据。以旅游外汇收入（百万美圆）为因变量。自变量单位为亿元人民币。数据略。,第70页,Intercept,Coefficients,-205.236,116.8459,-1.75646,0.096008,标准误差,t Stat,P-value,X Variable 1,-1.40045,22.8676,-0.06124,0.951842,X Variable 2,2.675001,18.57508,0.14401,0.887092,X Variable 3,3.300877,2.464556,1.339339,0.197128,X Variable 4,-0.94402,1.296117,-0.72834,0.475774,X Variable 5,-5.5016,4.508593,-1.22025,0.238117,X Variable 6,4.054434,3.953745,1.025467,0.318728,X Variable 7,4.142,5.069984,0.816965,0.42463,X Variable 8,-15.3649,10.82589,-1.41927,0.172905,X Variable 9,17.36766,8.35337,2.079121,0.052178,X Variable 10,9.078883,10.14728,0.894711,0.38275,X Variable 11,-10.58,5.610696,-1.88569,0.075582,X Variable 12,1.350709,5.001504,0.27006,0.790186,这个模型是不理想，一个最严重问题是多重共线性问题。,第71页,线性回归模型方差分析表,方差起源,自由度,离差,平方和方差,F统计量,显著性,水平,回归分析,12,11690140,974178.3,10.51335,8.15025E-06,残差,18,1667899,92661.04,总计,31,13358039,利用主成份互不相关性来建立应变量与主成份回归，在理论上能够到达消除多重共线性。,第72页,二、主成份回归方法,第73页,原始数据观察矩阵,主成份系数矩阵,第74页,主成份得分矩阵,第75页,依据最小二乘预计，则,基于协方差矩阵主成份回归,基于相关系数矩阵主成份回归,第76页,主成份回归系数协方差矩阵,第77页,第78页,第79页,第80页,1、经济分析数据Y：进口总额,X,1,：GDP,X,2,积累总额,X,3,：消费总额,求进口总额与GDP、积累总额和消费总额之间回归方程。,三、主成份回归实例,第81页,data,a;,input,x1-x3 y;,cards,;,149.3 4.2 108.1 15.9,161.2 4.1 114.8 16.4,171.5 3.1 123.2 19.0,175.5 3.1 126.9 19.1,180.8 1.1 132.1 18.8,190.7 2.2 137.7 20.4,202.1 2.1 146.0 22.7,212.4 5.6 154.1 26.5,226.1 5.0 162.3 28.1,231.9 5.1 164.3 27.6,239.0 0.7 167.6 26.3,;,proc,reg,outest,=b;,model,y=x1-x3/,pcomit,=,1,2,outvif,;,proc,print,data,=b;,proc,standard,data,=a,out,=c,mean,=,0,std,=,1,;,var,x1-x3 y;,proc,princomp,data,=c,out,=d,prefix,=z;,var,x1-x3;,proc,reg,data,=d;,model,y=z1 z2/,noint,;,run,;,第82页,Analysis of Variance,Sum of Mean,Source DF Squares Square F Value Pr F,Model 3 204.77614 68.25871 285.61|t|,Intercept 1 -10.12799 1.21216 -8.36 F,Model 2 9.88278 4.94139 379.38|t|,F1 1 0.68998 0.02552 27.03 10时，多重共线性是严重。,第89页,2、朗莱用美国联邦政府雇员人数Y和国民总产出隐含平减指数X,1,，国民总产出X,2,，失业人数X,3,，武装力量人数X,4,，14岁及以上非慈善机构人口数X,5,，时间变量X,6,。朗莱所用数据是美国4762年数据，该例是主成份回归用得较早例子。,第90页,第91页,Eigenvalues of the Correlation Matrix,（相关系数矩阵特征根）,Eigenvalue Difference Proportion Cumulative,（特征根）（差值）(贡献率）（累计贡献率）,1 4.60337745 3.42803711 0.7672 0.7672,2 1.17534035 0.97191518 0.1959 0.9631,3 0.20342517 0.18849689 0.0339 0.9970,4 0.01492828 0.01237624 0.0025 0.9995,5 0.00255204 0.00217533 0.0004 0.9999,6 0.00037671 0.0001 1.0000,第92页,Eigenvectors（特征向量）,Prin1 Prin2 Prin3 Prin4 Prin5 Prin6,x1 0.461835 0.057843 -.149120 -.792874 0.337934 -.135193,x2 0.461504 0.053211 -.277681 0.121625 -.149550 0.818485,x3 0.321317 -.595513 0.728306 -.007645 0.009235 0.107451,x4 0.10 0.798193 0.561607 0.077255 0.024253 0.017970,x5 0.462279 -.045544 -.195985 0.589743 0.548569 -.311589,x6 0.464940 0.000619 -.128116 0.052285 -.749556 -.450388,第93页,Prin1 Prin2 Prin3 Prin4 Prin5 Prin6,3.47885 -0.75147 -0.30795 0.16424 0.008797 -0.002579,3.01051 -0.84904 -0.64223 -0.12592 0.061546 -0.011980,2.34330 -1.54000 0.49343 0.00882 0.005746 -0.005062,2.09390 -1.27632 0.11129 0.06126 -0.061845 0.013677,1.43824 1.23579 0.02909 -0.09746 0.052257 0.042682,0.09951 0.69349 0.09757 0.10111 -0.098808 0.018926,0.44943 0.54784 -0.29295 -0.01756 -0.083762 -0.014139,0.95506 0.42945 -0.44524 -0.11933 -0.023694 -0.027154,1.81710 -0.86317 0.67742 -0.18706 0.021671 -0.008108,1.93999 -0.38657 -0.26596 -0.14392 -0.036686 0.023530,2.36112 -0.49910 -0.36567 -0.06160 -0.016235 -0.004360,3.07803 -0.98995 0.6 0.06811 0.056427 0.001339,3.34476 -0.17667 -0.42385 0.25968 0.058092 0.008939,第94页,Sum of Mean,Source DF Squares Square F Value Pr F,Model 6 498504 83084 47.22|t|,Intercept 1 386505 122516 3.15 0.0116,x1 1 13.71162 11.68424 1.17 0.2707,x2 1 0.00846 0.00461 1.84 0.0995,x3 1 0.09405 0.06720 1.40 0.1952,x4 1 0.20562 0.02948 6.97 .0001,x5 1 -0.00435 0.03111 -0.14 0.8918,x6 1 -199.3 62.67100 -3.18 0.0112,第95页,SAS回归分析（REG）过程中，带有主成份回归功效，,在这个功效中，SAS不但用因变量标准化值建立了与主成份之间,回归方程，而且将回归方程还原为以原始变量为自变量，以因变,量Y为被解释变量模型。,第96页,