MATLAB主成分分析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十五讲 主成分分析,刘北战,1,研究需求：,在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。,2,一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,一,基本思想,3,在进行主成分分析后，竟以97.4的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率,I,以及时间t因素做相关分析，得到下表：,4,F1,F2,F3,i,i,t,F1,1,F2,0,1,F3,0,0,1,i,0.995,-0.041,0.057,l,i,-0.056,0.948,-0.124,-0.102,l,t,-0.369,-0.282,-0.836,-0.414,-0.112,1,5,概念：,主成分分析是,一种通过,降维技术,把,多个,指标约化为,少数,几个,综合指标,的综合统计分析方法，而这些综合指标能够反映原始指标的,绝大部分,信息，它们通常表现为原始几个指标的线性组合。,6,基本思想及意义,哲学理念：抓住问题的主要矛盾。,主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这P个指标进行线性组合作为新的综合指标。,问题是：,这样的线性组合会很多，如何选择？,7,如果将选取的第一个线性组合即第一个综合指标记为,F,1,，希望它能尽可能多地反映原来指标的信息，即var(,F,1,)越大，所包含的原指标信息就越多，,F,1,的方差应该最大，称,F,1,为第一主成分。,8,如果第一主成分,F,1,不足以代表原来p个指标的信息，再考虑选取,F,2,即选择第二个线性组合。为了有效地反映原来的信息，,F,1,中已包含的信息，无须出现在,F,2,中，即cov(,F,1,F,2,)，称,F,2,为第二主成分。,仿此可以得到p个主成分。,9,我们可以发现这些主成分之间,互不相关,且,方差递减,，即数据的信息包含在前若干个主成分中，因而只需挑选前几个主成分就基本上反映了原始指标的信息。这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的解决。,10,二 数学模型与几何解释,假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X,1,，X2,，X,p,，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F,1,，F,2,，F,k,(kp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。,11,这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合,F,i,。,简记为,12,满足如下的条件：,主成分之间相互独立，即无重叠的信息。即,主成分的方差依次递减，重要性依次递减，即,每个主成分的系数平方和为1。即,13,主成分分析的几何解释,平移、旋转坐标轴,14,主成分分析的几何解释,平移、旋转坐标轴,15,主成分分析的几何解释,平移、旋转坐标轴,16,主成分分析的几何解释,平移、旋转坐标轴,17,为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量x,l,和x,2,，在由变量x,l,和x,2,所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着x,l,轴方向或x,2,轴方向都具有较大的离散性，其离散的程度可以分别用观测变量x,l,的方差和x,2,的方差定量地表示。显然，如果只考虑x,l,和x,2,中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。,18,如果我们将x,l,轴和x,2,轴先平移，再同时按逆时针方向旋转,角度，得到新坐标轴F,l,和F,2,。F,l,和F,2,是两个新变量。,19,根据旋转变换的公式：,20,旋转变换的目的是为了使得n个样品点在F,l,轴方向上的离 散程度最大，即F,l,的方差最大。变量F,l,代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量F,2,也无损大局。经过上述旋转变换原始数据的大部分信息集中到F,l,轴上，对数据中包含的信息起到了浓缩作用。,21,F,l,，F,2,除了可以对包含在X,l,，X,2,中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的各点的方差大部分都归结在F,l,轴上，而F,2,轴上的方差很小。Fl,和F,2,称为原始变量x,1,和x,2,的综合变量。F简化了系统结构，抓住了主要矛盾。,22,三 主成分的推导及性质,1、两个线性代数的结论,1）、若A是p阶实对称阵，则一定可以找到正交阵U，使,其中 是,A,的特征根。,23,2）、,若上述矩阵的特征根所对应的,单位正交,特征向量为,则实对称阵 属于不同特征根所对应的特征向量是正交的，即有,令,24,2、主成分的推导,（一）,第一主成分,设X的协方差阵为,由于,x,为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得,25,其中,1,，,2,，,p,为,x,的特征根，不妨假设,1,2,p,。而U恰好是由特征根相对应的,单位特征向量所组成的正交阵。,下面我们来看，是否由U的第一列元素所构成为原始,变量的线性组合是否有最大的方差。,26,设有P维正交向量,且,27,28,当且仅当,a,1,=u,1,时，即 时，,有最大的方差,1,。因为Var(F,1,)=U,1,x,U,1,=,1。,如果第一主成分的信息不够，则需要寻找第二主成分。,29,（二）,第二主成分,在约束条件 下，寻找第二主成分,因为,所以,则，对p维向量 ，有,30,所以如果取线性变换：,则 的方差次大。,类推,31,写为矩阵形式：,32,四 主成分的性质,1、均值,2、方差为所有特征根之和,说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。,协方差矩阵,的,对角线上的元素之和等于特征根之和。,33,3、精度分析,1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率,，,反映了原来P个指标多大的信息，有多大的综合能力,。,2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重,来描述，称为累积贡献率。,34,我们进行主成分分析的目的之一是希望用尽可能少的主成分F,1,，F,2,，F,k,（kp）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量85%以上的信息量为依据，即当累积贡献率85%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。,35,4、原始,变量与主成分之间的相关系数,36,可见，和 的相关的密切程度取决于对应线性组合系数的大小。,37,38,5、,原始变量被主成分的提取率,前面我们讨论了主成分的贡献率和累计贡献率，他,度量了F,1,，F,2,，F,m,分别从原始变量X,1,，X,2,，X,P,中提取了多少信息。,那么X,1,，X,2,，X,P,各有多少信息分别F,1,，F,2,，F,m,被提取了,。应该用什么指标来度量？我们考虑到当讨论F,1,分别与X,1,，X,2,，X,P,的关系时，可以讨论F,1,分别与X,1,，X,2,，X,P,的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。,39,如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：,是Fj 能说明的第i 原始变量的方差,是Fj 提取的第i 原始变量信息的比重,40,例,设 的协方差矩阵为,解得特征根为 ，,，,第一个主成分的贡献率为,5.83/,（,5.83+2.00+0.17,）,=72.875%，尽管,第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。,41,X,i,与F,1,的,相关系数,平方,X,i,与F,2,的相关系数,平方,信息提取率,x,i,1,0.925,0.855,0,0,0.855,2,-0.998,0.996,0,0,0.996,3,0,0,1,1,1,42,定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。,(该题无公共因子）,43,6、载荷矩阵,44,五 标准化变量主成分,在实际问题中，不同的变量往往有不同的,量纲,，由于不同的量纲会引起各变量取值的分散程度差异较大，这时，总体方差则主要受,方差较大,的变量的控制。,若用求主成分，则优先照顾了方差大的变量，有时会造成很不合理的结果。为了消除由于量纲的不同可能带来的影响，常采用变量标准化的方法，即令,，,45,这时，,的协方差矩阵便是,的相关系数阵 ，,其中,利用,X,的相关矩阵,作主成分分析，平,行于前面,的结论，可以有如下的定理:,46,定理：,设 为标准化的随机向量，其,协方差矩阵（即,X,的相关矩阵）为,，则,X,*,的,第i个主成分,并且,47,其中,为相关矩阵,的特征值，,为相应的正交单位化特征向量。,这时,第,i,个主成分的贡献为,前,m,个主成分的累积贡献为,48,例题：对比标准化和非标准化数据的主成分,设 协方差矩阵和对应的相关,矩阵分别为,49,如果从出发作主成分分析，易求得其,特征值和相应的单位正交化特征向量为,则,X,的两个主成分分别为：,第一主成分的贡献率为：,由于,X,2,的方差很大，完全控制了提取信息量占99.2%的第一主成分（,X,2,在,F,1中的系数为0.999），淹没了变量,X,1,的作用。,50,如果从,出发作主成分分析，可求得其,特征值和相应的单位正交化特征向量为,则,X,*,的两个主成分分别为：,此时，第一主成分的贡献率有所下降，为：,51,由此看到，原变量在第一主成分中的相对重要性由于标准化而有很大的变化。,在由所求得的第一主成分中，,X,1,和,X,2,和的权重系数分别为0.040和0.999，主要由大方差的变量控制。,而在由,所求得的第一主成分中，,X,1,和,X,2,和的权重系数反而成了0.707和0.0707，即,X,1,的相对重要性得到提升。此例也表明，由和,求得的主成分一般是不相同的，而且，其中第一组主成分也不是第二组主成分的某简单函数。,在实际应用中，当涉及的各变量的变化范围差异较大时，从,出发求主成分比较合理。,52,185%原则,记方差的累积贡献率为,六 主成分个数的选取,根据我国主成分分析的实践来看，,通常可以保证分析结果的可靠性。,该原则是在实践中总结出来的，与其它原则,相比，通常有选取较多主成分的倾向。,53,实践中，该准则通常容易选取较少的主成分。,先计算 ，然后将 与之进行比,较，选取 的前,q,个变量的主成分。,由于 由样本数据的相关矩阵,R,所求得，所,以 ，故只要选取 的前,q,个变量作为,主成分即可。,2 的原则,54,3斯格理（Screet）原则,具体做法：,计算特征根的差 ，如果前,q,个,比较近，即出现了较为稳定的差值，则后,p-q,个变量 可以确定为非主成分。,这是从相反的方向来确定主成分的一种,做法。实践中，该准则也倾向于选择较多的,主成分，而且一般不单独使用。,55,4巴特莱特检验（Bartlet）原则,H,0,：最后,p-q,个分量均等于或不显著地大于零。,该检验的精确性受到样本容量n大小的影响，,当n较小时，有可能低估突出变量的数目；当n较大,时，有可能高估突出变量的数目。,具体做法：,从,q,=1开始，一直检验到最后,p-q,个变,量不显著为止。,其中：,检验统计量：,56,1、主成分的解释,1）、从特征向量,U,ij,的各个分量数值的大小入手,进行分析与概括。,U,ij,表明了变量,x,j,(,x,j,*,),与主成分,F,i,之间的关系。,主成分,F,i,在变量,x,j,(,x,j,*,),上的系数,U,ij,越大，说明该主,成分主要代表了该变量,x,j,(,x,j,*,),的信息；反之，若越,接近于,0,，则表明几乎没有该变量什么信息。,七 主成分的解释,57,2）从特征向量的各个分量,U,ij,数值的符号入手,进行分析与概括,主成分系数,U,ij,的符号表明了变量,x,j,(,x,j,*,),与主成分,F,i,之间的作用关系，一般地，正号表,示变量与主成分的作用同方向；而负号则表,示变量与主成分作用是逆向变动关系。,58,3）如果变量分组较有规则，则从特征向量,各分量,U,ij,数值作出组内、组间对比分析,4）如果主成分中，各变量的系数都大致相,同，则要考虑是否存在一个一般性的影响因素,59,2、主成分分析适用的场合,3.不完全相关,主成分分析,效果较好,能实施主成分分析,高度相关,中度相关,低度相关,1.完全相关,2.完全不相关,不必实施主成分分析,60,八 主成分分析的步骤,STEP03：求相关系数矩阵,R,的特征根,1,2,p,0,及相应的单位正交特征向量,U,1,U,2,U,p,；,STEP02：计算,X,的相关系数矩阵,R,；,STEP01：将原始数据,X,进行标准化，得,X,*,；,STEP04：计算方差累积贡献率，确定主成分的个数,q,；,STEP05：写出主成分,F=X,*,U,，解释其实际经济意义并指导实践。,61,主成分分析方法应用实例,下面，我们根据表一给出的数据，对某农业生态经济系统做主成分分析，,表一 某农业生态经济系统各区域单元的有关数据,62,63,步骤如下：（1）将表一中的数据作标准差标准化处理，然后将它们代入公式计算相关系数矩阵（见表二）。,表二相关系数矩阵,64,（2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表三）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分,z,1,，,z,2,，,z,3,即可。,65,表三特征值及主成分贡献率,66,（3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量,e,1,，,e,2,，,e,3,，再用公式计算各变量x,1,，,x,2,，,x,9,在主成分,z,1,，,z,2,，,z,3,上的载荷,67,表四 主成分载荷,68,第一主成分,z,1,与,x,1,，,x,5,，,x,6,，,x,7,，,x,9,呈显出较强的正相关，与,x,3,呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分,z,1,是生态经济结构的代表。,第二主成分,z,2,与,x,2,，,x,4,x,5,呈显出较强的正相关，与,x,1,呈显出较强的负相关，其中，除了,x,1,为人口总数外，,x,2,，,x,4,，,x,5,都反映了人均占有资源量的情况，因此可以认为第二主成分,z,2,代表了人均资源量。,分析：,69,显然，用三个主成分,z,1,、,z,2,、,z,3,代替原来,9,个变量,（,x,1,，,x,2,，,x,9,），描述农业生态经济系统，可以使问题更进一步简化、明了。,第三主成分,z,3,，与,x,8,呈显出的正相关程度最高，其次是,x,6,，而与,x,7,呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。,另外，表3.5.3中最后一列（占方差的百分数），在一定程度反映了三个主成分,z,1,、,z,2,、,z,3,包含原变量（,x,1,，,x,2,，,x,9,）的信息量多少。,70,我国各地区城镇居民消费性支出的主成分分析,下表列出了1999年,全国,31,个省、直辖市和自治区（港、澳、台不在其中）的城镇,居民家庭平均每人全年消费性支出的八个主要变量数据，请从八个变量中识别出主成分。,表1 变量表,：食品,：交通和通讯,：衣着,：娱乐教育文化服务,：家庭设备用品及服务,：居住,：医疗保健,：杂项商品和服务,的样本相关阵,出发进行主成分分析,我们希望对上述八个指标数据进行主成分分析。,从,71,地区,北京,2959.19,730.79,749.41,513.34,467.87,1141.82,478.42,457.64,天津,2459.77,495.47,697.33,302.87,284.19,735.97,570.84,305.08,河北,1495.63,515.90,362.37,285.32,272.95,540.58,364.91,188.63,山西,1406.33,477.77,290.15,208.57,201.50,414.72,281.84,212.10,内蒙古,1303.97,524.29,254.83,192.17,249.81,463.09,287.87,192.96,辽宁,1730.84,553.90,24691,279.81,239.18,445.20,330.24,163.86,吉林,1561.86,492.42,200.49,218.36,220.69,459.62,360.48,147.76,黑龙江,1410.11,510.71,211.88,277.11,224.65,376.82,317.61,152.85,上海,3712.31,550.74,893.37,346.93,527.00,1034.98,720.33,462.03,江苏,2207.58,449.37,572.40,211.92,302.09,585.23,429.77,252.54,浙江,2629.16,557.32,689.73,435.69,514.66,795.87,575.76,323.36,安徽,1844.78,430.29,271.28,126.33,250.56,513.18,314.00,151.39,福建,2709.46,428.11,334.12,160.77,405.14,461.67,535.13,232.29,江西,1563.78,303.65,233.81,107.90,209.70,393.99,509.39,160.12,山东,1675.75,613.32,550.71,219.79,272.59,599.43,371.62,211.84,河南,1427.65,431.79,288.55,208.14,217.00,337.76,421.31,165.32,湖北,1783.43,511.88,282.84,201.01,237.60,617.74,523.52,182.52,湖南,1942.23,512.27,401.39,206.06,321.29,697.22,492.60,226.45,广东,3055.17,353.23,564.56,356.27,811.88,873.06,1082.82,420.81,广西,2033.87,300.82,338.65,157.78,329.06,621.74,587.02,218.27,海南,2057.86,186.44,202.72,171.79,329.65,477.17,312.93,279.19,重庆,2303.29,589.99,516.21,236.55,403.92,730.05,438.41,225.80,四川,1974.28,507.76,344.79,203.21,240.24,575.10,430.36,223.46,贵州,1673.82,437.75,461.61,153.32,254.66,445.59,346.11,191.48,云南,2194.25,537.01,369.07,249.54,290.84,561.91,407.70,330.95,西藏,2646.61,839.70,204.44,209.11,379.30,371.04,269.59,389.33,陕西,1472.95,390.89,447.95,259.51,230.61,490.90,469.10,191.34,甘肃,1525.57,472.98,328.90,219.86,206.65,449.69,249.66,228.19,青海,1654.69,437.77,258.78,303.00,244.93,479.53,288.56,236.51,宁夏,1375.46,480.89,273.84,317.32,251.08,424.75,228.73,195.93,新疆,1608.82,536.05,432.46,235.82,250.28,541.30,344.85,214.40,表1 消费性支出数据,单位：元,72,