PLS偏最小二乘法.doc

偏最小二乘法(Partial Least Square)通过最小化误差平方来寻找数据与函数间的最佳匹配，是一种参数估计方法，一般估计步骤包括：首先将解释变量和被解释变量标准化，并提取解释变量和被解释变量的主成分，例如提取解释变量的主成分，要求与被解释变量高度相关，这个过程体现了典型相关和主成分分析的思想。其次做解释变量和被解释变量在主成分上的回归，可以分别得到残差，这个还是OLS的思想。最后，按以上的步骤循环下去，直到新的主成分系数不再显著。其实PLS仍然是OLS的一种扩展，目前在解决多重共线性问题领域的研究很成熟。一般认为比岭回归、主成分分析等方法在解决多重共线性问题上更为有效。此外，PLS与结构方程（SEM）在应用上相得益彰，我们知道SEM是大样本理论的产物，因此其应用受到诸多限制，尤其在小样本下，该模型几乎无法应用，而PLS恰好可以弥补这方面的缺陷。研究结论认为PLS在非正态分布、小样本、共线性的情况下，仍然很稳定。偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首提示来的,偏最小二乘法有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。这是多元统计数据分析中的一个飞跃。与传统多元线性回归模型相比，偏最小二乘回归的特点是：(1) 能够在自变量存在严重多重相关性的条件下进行回归建模；(2) 允许在样本点个数少于变量个数的条件下进行回归建模；(3) 偏最小二乘回归在最终模型中将包含原有的所有自变量；(4) 偏最小二乘回归模型更易于辨识系统信息与噪声（甚至一些非随机性的噪声）；(5) 在偏最小二乘回归模型中，每一个自变量的回归系数将更容易解释。偏最小二乘法是一种多因变量对多自变量的回归建模方法。主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。偏最小二乘回归可以解决这个问题。它采用对变量X和Y都进行分解的方法，从变量X和Y中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y = b0 + b1X1 + b2X2 + . + bpXp在方程中，b0是截距，bi的值是数据点1到p的回归系数。多元线性回归模型为了处理更复杂的数据分析问题，扩展了一些其他算法，象判别式分析，主成分回归，相关性分析等等，都是以多元线性回归模型为基础的多元统计方法。这些多元统计方法有两点重要特点，即对数据的约束性：变量X和变量Y的因子都必须分别从XX和YY矩阵中提取，这些因子就无法同时表示变量X和Y的相关性。预测方程的数量永远不能多于变量Y跟变量X的数量。偏最小二乘回归从多元线性回归扩展而来时却不需要这些对数据的约束。在偏最小二乘回归中，预测方程将由从矩阵YXXY中提取出来的因子来描述；为了更具有代表性，提取出来的预测方程的数量可能大于变量X与Y的最大数。简而言之，偏最小二乘回归可能是所有多元校正方法里对变量约束最少的方法，这种灵活性让它适用于传统的多元校正方法所不适用的许多场合，例如一些观测数据少于预测变量数时。并且，偏最小二乘回归可以作为一种探索性的分析工具，在使用传统的线性回归模型之前，先对所需的合适的变量数进行预测并去除噪音干扰。因此，偏最小二乘回归被广泛用于许多领域来进行建模，象化学，经济学，医药，心理学和制药科学等等，尤其是它可以根据需要而任意设置变量这个优点更加突出。在化学计量学上，偏最小二乘回归已作为一种标准的多元建模工具。如果在Eviews中消除异方差性用wls,就够了,如果不知道异方差的形式,就用HAC