主成分分析法.pptx

7.1 引言v主成分分析(或称主分量分析，principal component analysis)由皮尔逊(Pearson,1901)首先引入，后来被霍特林(Hotelling,1933)发展了。v主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。v主成分分析的一般目的是：(1)变量的降维；(2)主成分的解释。寻找主成分的正交旋转 v旋转公式：7.2 总体的主成分v一、主成分的定义及导出v二、主成分的性质v三、从相关阵出发求主成分一、主成分的定义及导出v设 为一个 维随机向量，。考虑如下的线性变换 希望在约束条件 下寻求向量 ，使 得 达到最大，就称为第一主成分。v设 为 的特征值，为相应的单位特征向量，且相互正交。则可求得第一主成分为 它的方差具有最大值 。v如果第一主成分所含信息不够多，还不足以代表原始的 个变量，则需考虑再使用一个综合变 量 ，为使 所含的信息与 不重叠，应要求 我们在此条件和约束条件 下寻求向量 ，使得 达到最大，所求的 称为第二主成分。求得的第二主成分为 其方差为 。v一般来说，的第 主成分是指：在约束条件 和 下寻求 ，使 得 达到最大。第 主成分为主成分的几何意义v在几何上，表明了第 主成分的方向，是 在 上的投影值（即投影长度），是这些值的方差，它反映了在 上投影点的分散程度。v记 ，则主成分向量 与原始向量 有如下关系：该正交变换的几何意义是将 中由 构成的原 维坐标轴作一正交旋转，一组正交单位向 量 表明了 个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。二、主成分的性质v1.主成分向量的协方差矩阵 其中 ，即 ，且 互不相关。v2.主成分的总方差 由于 故 或v总方差中属于第 主成分 （或被 所解释)的比例为 称为主成分 的贡献率。v第一主成分 的贡献率最大，表明它解释原始变量 的能力最强，而 的解释能力依次递减。v主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有 个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。v前 个主成分的贡献率之和 称为主成分 的累计贡献率，它表明 解释 的能力。v通常取(相对于 )较小的 ，使得累计贡献达到一个较高的百分比(如8090)。此时，可用来代替 ，从而达到降维的目的，而信息的损失却不多。v3.原始变量 与主成分 之间的相关系数 v在实际应用中，通常我们只对 与 的相关系数感兴趣。三、从相关阵出发求主成分v现比较本例中从 出发和例7.2.2中从 出发的主成分计算结果。从 出发的 的贡献率0.705明显小于从 出发的 的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显，（7.2.15）式有助于我们理解之。可用标准化前的原变量表达如下：v可见，在原变量 上的载荷相对大小与例7.2.2中 在 上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。7.3 样本的主成分v我们可以从协差阵 或相关阵 出发求得主成分。但在实际问题中，或 一般都是未知的，需要通过样本来进行估计。设数据矩阵为 则样本协差阵和样本相关阵分别为7.3 样本的主成分v一、样本主成分的定义v二、从 出发求主成分v三、从 出发求主成分v四、主成分分析的应用v五、若干补充及应用中需注意的问题一、样本主成分的定义v若向量 在约束条件 下，使得的样本方差 达到最大，则称线性组合 为第一样本主成分。若向量 在约束条件 和的样本协方差 下，使得 的样本方差 达到最大，则称线性组合 为第二样本主成分。一般地，若向量 在约束条件 和 的样本协方差 下，使得的样本方差 达到最大，则称线性组合 为第 样本主成分，。v需要指出的是，样本主成分是使样本方差而非方差达到最大，是使样本协方差而非协方差为零。主成分得分v在实际应用中，我们常常让 减去 ，使样本数据中心化。这不影响样本协差阵 ，在前面的论述中惟一需要变化的是，将第 主成分改写成中心化的形式，即v若将各观测值 代替上式中的观测值向量 ，则第主成分的值 称之为观测值 的第 主成分得分。所有观测值的平均主成分得分三、从 出发求主成分v设样本相关阵 的 个特征值为 ，为相应的正交单位特征向量，则第 样本主成分v其中 是各分量经（样本）标准化了的向量，即v令 这是 的各分量数据经标准化后的数据向量，将其代替上述样本主成分公式中的 ，即得观测值 在第 主成分上的得分 所有观测值的平均主成分得分四、主成分分析的应用v在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否则主成分将空有信息量而无实际含义）。v主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。v如果原始变量之间具有较高的相关性，则前面少数几个主成分的累计贡献率通常就能达到一个较高水平，也就是说，此时的累计贡献率通常较易得到满足。v主成分分析的困难之处主要在于要能够给出主成分的较好解释，所提取的主成分中如有一个主成分解释不了，整个主成分分析也就失败了。v主成分分析是变量降维的一种重要、常用的方法，简单的说，该方法要应用得成功，一是靠原始变量的合理选取，二是靠“运气”。例7.3.1v在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高()、坐高()、胸围()、手臂长()、肋围()和腰围()。所得样本相关矩阵列于下表。v 经计算，相关阵 的前三个特征值、相应的特征向量以及贡献率列于下表。v前三个主成分分别为v从上述表中可以看到，前两个主成分的累计贡献率已达78.2，前三个主成分的累计贡献率达85.9，因此可以考虑只取前面两个或三个主成分，它们能够很好地概括原始变量。v第一主成分 对所有(标准化)原始变量都有近似相等的正载荷，故称第一主成分为(身材)大小成分。v第二主成分 在 上有中等程度的正载荷，而在 上有中等程度的负载荷，称第二主成分为形状成分(或胖瘦成分)。v第三主成分 在 上有大的正载荷，在 上有大的负载荷，而在其余变量上的载荷都较小，可称第三主成分为臂长成分。v由于第三主成分的贡献率不高(7.65)且实际意义也不太重要，因此我们一般可考虑取前两个主成分。v由于 非常小，所以存在共线性关系：例7.3.2v在习题6.5中，如下八项男子径赛运动记录：100米（秒）：1500米（分）：200米（秒）：5000米（分）：400米（秒）：10000米（分）：800米（秒）：马拉松（分）五、若干补充及应用中需注意的问题v1.关于时间序列数据v2.主成分用于聚类分析v3.关于不同时期的主成分分析v4.对综合得分方法的质疑