3-多元线性回归模型参数估计.ppt

2.3 多元线性回归模型的参多元线性回归模型的参数估计数估计一、多元线性回归模型概述一、多元线性回归模型概述 二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、三、OLSOLS估计量的统计性质估计量的统计性质四、参数估计量的方差、协方差矩阵四、参数估计量的方差、协方差矩阵 和随机误差项方差的估计和随机误差项方差的估计五、样本容量问题五、样本容量问题六、多元线性回归模型的实例六、多元线性回归模型的实例 一、多元线性回归模型一、多元线性回归模型 1.多元线性回归模型的形式多元线性回归模型的形式l 由于：由于：在实际经济问题中，一个变量往往受到多个在实际经济问题中，一个变量往往受到多个原因变量的影响；原因变量的影响；从从一般到简单一般到简单的建模思路；的建模思路；l 在线性回归模型中解释变量有多个，这样的模型在线性回归模型中解释变量有多个，这样的模型被称为被称为多元线性回归模型多元线性回归模型。多元线性回归模型的一般形式：多元线性回归模型的一般形式：i=1,2,n 其中其中:k 为解释变量的数目，为解释变量的数目，j 称为称为回归系回归系数（数（regression coefficient）。习习惯惯上上：把把常常数数项项看看成成为为一一个个虚虚变变量量的的系系数数，该虚变量的样本观测值始终取该虚变量的样本观测值始终取1。这样：。这样：模型中解释变量的数目为模型中解释变量的数目为（k+1）。总体回归函数总体回归函数的的非随机表达式非随机表达式:j也被称为也被称为偏回归系数偏回归系数。总体回归函数总体回归函数的的随机表达形式随机表达形式:总体回归模型总体回归模型n个随机方程的个随机方程的矩阵表达式矩阵表达式为为 其中其中样本回归函数样本回归函数：用来估计总体回归函数：用来估计总体回归函数其其随机表示式随机表示式:ei称为称为残差残差或或剩余项剩余项(residuals)，可看成是总，可看成是总体回归模型中随机扰动项体回归模型中随机扰动项i的近似替代。的近似替代。样本回归函数样本回归函数和和样本回归模型样本回归模型的的矩阵表达矩阵表达:或或其中：其中：2.多元线性回归模型的基本假定多元线性回归模型的基本假定 假设假设2，随机误差项具有零均值、同方差及不序列随机误差项具有零均值、同方差及不序列相关性。相关性。假设假设3，解释变量与随机误差项不相关。，解释变量与随机误差项不相关。假设假设4，随机误差项满足正态分布，随机误差项满足正态分布 假设假设5，解释变量之间不存在严格的线性关系，解释变量之间不存在严格的线性关系，即不存在即不存在完全完全共线性。共线性。假设假设1，解释变量是非随机的。，解释变量是非随机的。上述假设的上述假设的矩阵符号表示式矩阵符号表示式：假设假设2 2，假设假设3，E(X)=0，即，即 假设假设4，向量，向量 有一多维正态分布，即有一多维正态分布，即 假设假设5，n(k+1)矩阵矩阵X 的秩的秩 =k+1，即，即X 满秩。满秩。例：测度教育的回报问题例：测度教育的回报问题 wage:小时工资小时工资(元元)，educ:受教育的年数，受教育的年数，exper:以以年数计的工作经历。年数计的工作经历。其他非观测因素：天生能力、职业道德等。其他非观测因素：天生能力、职业道德等。E(|educ,exper)=0 影响影响wage的其它因素与的其它因素与educ和和exper无关。比如，如果无关。比如，如果是天生能力，这个假定就是要求，是天生能力，这个假定就是要求，员工总体中受教育员工总体中受教育和工作经历的各种组合，其平均能力都相同。和工作经历的各种组合，其平均能力都相同。Var(|educ,exper)=2，Var(wage|educ,exper)=2，如果这个方差随着两个解释变量中的任何一个变化，如果这个方差随着两个解释变量中的任何一个变化，就出现了异方差。就出现了异方差。“无完全共线性假定无完全共线性假定”的说明的说明 cons:消费，消费，inc:收入收入一个问题一个问题：在什么情况下由多元线性模型估计得：在什么情况下由多元线性模型估计得到的偏回归系数与仅用该变量作为解释变量构成到的偏回归系数与仅用该变量作为解释变量构成的一元回归模型的估计结果是相同的？的一元回归模型的估计结果是相同的？重要提示：重要提示：l几乎没有哪个实际问题能够同时满足所有基本假定；几乎没有哪个实际问题能够同时满足所有基本假定；l通过模型理论方法的发展，可以克服违背基本假设带通过模型理论方法的发展，可以克服违背基本假设带来的问题；来的问题；l违背基本假设的处理构成了线性单方程计量经济学理违背基本假设的处理构成了线性单方程计量经济学理论方法的主要内容。论方法的主要内容。异方差问题异方差问题（违背同方差假设）（违背同方差假设）序列相关性序列相关性（违背序列不相关假设）（违背序列不相关假设）共线性问题共线性问题（违背解释变量之间不相关假设）（违背解释变量之间不相关假设）随机解释变量问题随机解释变量问题（违背了解释变量和随机误差项（违背了解释变量和随机误差项之间不相关假设）之间不相关假设）l零均值、正态性假定是由模型的数理统计理论决定。零均值、正态性假定是由模型的数理统计理论决定。二、多元线性回归模型的估计二、多元线性回归模型的估计l普通最小二乘法普通最小二乘法 l最大似然法最大似然法 l矩估计方法矩估计方法1、普通最小二乘估计、普通最小二乘估计对于随机抽取的对于随机抽取的n组观测值：组观测值：如果如果样本函数样本函数的参数估计值已经得到，则有：的参数估计值已经得到，则有：根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 其中其中于是得到关于于是得到关于待估参数估计值待估参数估计值的的正规方程组正规方程组：正规方程组正规方程组的的矩阵形式矩阵形式:即即由于由于XX满秩，故有满秩，故有 将上述过程用将上述过程用矩阵表示矩阵表示如下：如下：即求解方程组：即求解方程组：得到：得到：于是：于是：样本回归函数样本回归函数的的离差形式离差形式:其其矩阵形式矩阵形式为为 其中其中 ：在离差形式下，参数的最小二乘估计结果在离差形式下，参数的最小二乘估计结果为为 2、最大似然估计、最大似然估计 Y 的随机抽取的的随机抽取的n 组样本观测值的联合概率组样本观测值的联合概率即为变量即为变量Y 的的似然函数似然函数。对数似然函数为：对数似然函数为：对对数似然函数求极大值，也就是对：对对数似然函数求极大值，也就是对：求极小值。求极小值。因此，参数的因此，参数的最大似然估计最大似然估计为：为：结果与结果与参数参数的普通最小二乘估计相同。的普通最小二乘估计相同。3、矩估计（、矩估计（Moment Method,MM）l 用每个解释变量分别乘以模型的两边，并用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：对所有样本点求和，即得到：l 对每个方程的两边求期望，有：对每个方程的两边求期望，有：利用利用和和l 得到一组矩条件：得到一组矩条件：求解这组矩条件就得到参数估计量求解这组矩条件就得到参数估计量 与与OLS、ML估计量等价估计量等价矩方法矩方法是是工具变量方法工具变量方法(Instrumental Variables,IV)和和广义矩估计方法广义矩估计方法(Generalized Moment Method,GMM)的基础。的基础。在在矩方法矩方法中关键是利用了：中关键是利用了：如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件，就是个工具变量，仍然可以构成一组矩条件，就是IV。如果存在如果存在k+1个变量与随机项不相关，可以构个变量与随机项不相关，可以构成一组包含成一组包含k+1方程的矩条件，就是方程的矩条件，就是GMM。随机误差项随机误差项 的方差的方差 2 2 的的无偏估计无偏估计 可以证明，随机误差项可以证明，随机误差项 的方差的无偏估计量的方差的无偏估计量为为:三三.OLS参数估计量的性质参数估计量的性质 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普通最小二乘估计普通最小二乘估计仍具有：仍具有：线性性线性性、无偏性无偏性、有效性有效性。(1)线性性线性性 其中其中,C=(XX)-1 X为一仅与固定的为一仅与固定的X 有关的行向量有关的行向量 (3)有效性（最小方差性）有效性（最小方差性）(2)无偏性无偏性 这里利用了假设这里利用了假设:E(X)=0其中利用了其中利用了 和和结论：结论：在经典假定条件下，多元线性回归的在经典假定条件下，多元线性回归的OLS估计式是最佳线性无偏估计式。估计式是最佳线性无偏估计式。四、参数估计量的方差四、参数估计量的方差-协方差矩阵和随协方差矩阵和随机误差项方差机误差项方差2的估计的估计1.1.参数估计量的方差参数估计量的方差-协方差矩阵协方差矩阵l将参数估计量看成是随机变量，具有数字特征。将参数估计量看成是随机变量，具有数字特征。l参数估计量的方差以及不同参数估计量之间的协方参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。差在模型理论中具有重要性。具体描述如下：具体描述如下：的方差的方差协方差矩阵：协方差矩阵：矩阵符号表达式：矩阵符号表达式：l可以证明随机误差项方差可以证明随机误差项方差2的的无偏估计量无偏估计量是：是：2.随机误差项方差随机误差项方差2的估计量的估计量l于是，参数估计量的方差、标准差、协方差可以于是，参数估计量的方差、标准差、协方差可以分别用其样本方差、标准差、协方差估计：分别用其样本方差、标准差、协方差估计：五、样本容量问题五、样本容量问题 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理出发，即从最小二乘原理出发，要得到参数估计量，不管其质量如何，所要求的样要得到参数估计量，不管其质量如何，所要求的样本容量的下限。本容量的下限。最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量的数目样本最小容量必须不少于模型中解释变量的数目（包括常数项）（包括常数项）,即即 n k+1 因为，因为，无完全共线性要求：秩无完全共线性要求：秩(X)=k+1 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的有效性角度：从统计检验的有效性角度：n 30 时，时，Z 检验才能应用，检验才能应用，t 分布较为分布较为稳定稳定；从参数估计角度，一般经验认为从参数估计角度，一般经验认为:当当n 30 或者至少或者至少 n 3(k+1)时，才能说满时，才能说满足模型估计的基本要求。足模型估计的基本要求。模型的良好性质只有在大样本下才能得到理论模型的良好性质只有在大样本下才能得到理论上的证明。上的证明。六、多元线性回归模型的参数估计实例六、多元线性回归模型的参数估计实例 中国消费函数模型中国消费函数模型根据消费模型的一般形式，选择人均消费支出为根据消费模型的一般形式，选择人均消费支出为被解释变量，人均国内生产总值和前一年的人均被解释变量，人均国内生产总值和前一年的人均消费支出为解释变量，变量之间关系为简单线性消费支出为解释变量，变量之间关系为简单线性关系，选取关系，选取19792000年统计数据为样本观测值。年统计数据为样本观测值。被解释变量：被解释变量：CONSP解释变量：人均解释变量：人均GDP：GDPP 前期消费：前期消费：CONSP(-1)估计区间：估计区间：19792000年年 中国居民人均消费支出与人均中国居民人均消费支出与人均GDP 单位：元单位：元/人人yearCONSPGDPPyearCONSPGDPP1978395.8675.11990797.11602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.9792.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.51269.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9DependentVariable:CONSPMethod:LeastSquaresSample(adjusted):19792000Includedobservations:22afteradjustmentsVariableCoefficientStd.Errort-StatisticProb.GDPP0.2213590.0609733.6304620.0018CONSP(-1)0.4514080.1703182.6503800.0158C120.725336.513743.3062990.0037R-squared0.995403 Meandependentvar928.4909AdjustedR-squared0.994919 S.D.dependentvar372.6339S.E.ofregression26.56264 Akaikeinfocriterion9.523012Sumsquaredresid13405.90 Schwarzcriterion9.671791Loglikelihood-101.7531 Hannan-Quinncriter.9.558060F-statistic2056.887 Durbin-Watsonstat1.278902Prob(F-statistic)0.000000Eviews软件估计结果软件估计结果 随机误差项方差的估计量为：随机误差项方差的估计量为：复习：多元线性模型参数估计要点复习：多元线性模型参数估计要点l矩阵表示矩阵表示(模型、假设、估计过程与结果，模型、假设、估计过程与结果，理解统计性质的证明理解统计性质的证明)l最小二乘法、最大似然法、矩估计方法原理最小二乘法、最大似然法、矩估计方法原理l从最小二乘原理出发推导从最小二乘原理出发推导正规方程组正规方程组以及利以及利用用矩方法矩方法推导正规方程组推导正规方程组l偏回归系数的含义偏回归系数的含义l高斯高斯马尔科夫定理马尔科夫定理l样本容量问题样本容量问题l应用软件中的多元回归参数估计过程应用软件中的多元回归参数估计过程