计量经济学-多元线性回归模型及参数估计.ppt

第三章第三章 经典单方程计量经济学模型：经典单方程计量经济学模型：多元线性回归模型多元线性回归模型.本章主要内容3.1 多元线性回归模型及其参数估计多元线性回归模型及其参数估计3.2 多元线性回归模型的统计检验多元线性回归模型的统计检验3.3 多元线性回归模型的区间估计多元线性回归模型的区间估计.3.1 多元线性回归模型多元线性回归模型 及其参数估计及其参数估计一、多元线性回归模型及其基本假定一、多元线性回归模型及其基本假定二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质四、样本容量问题四、样本容量问题五、五、多元线性回归模型实例多元线性回归模型实例.由于：由于：在实际经济问题中，一个变量往往受到多个原在实际经济问题中，一个变量往往受到多个原因变量的影响；因变量的影响；“从一般到简单从一般到简单”的建模思路。的建模思路。所以，所以，线性回归模型中的解释变量往往有线性回归模型中的解释变量往往有多个多个（至少开始是这样）。（至少开始是这样）。这样的模型被这样的模型被称为称为多元线性回归模型多元线性回归模型。一、多元线性回归模型及其基本假定一、多元线性回归模型及其基本假定.多元线性回归模型的一般形式多元线性回归模型的一般形式为：为：习惯上，把常数项看成为一个虚虚变变量量（记记作作Xio）的系数，在参数估计过程中该该虚虚变变量量的的样样本本观观测测值值始终取始终取1（即（即Xi0 1）。i=1,2,n 这样：模型中解释变量的数目为（模型中解释变量的数目为（k+1）。1.1.多元线性回归模型的形式多元线性回归模型的形式 (见教材见教材P62-63P62-63).多元线性回归模型的多元线性回归模型的矩阵表达式矩阵表达式为：为：其中 注意这里的符号和教材教材P63的对应关系。.其中其中 如果多元线性回归模型的样本回归模型为：如果多元线性回归模型的样本回归模型为：(教材教材P63P63)i=1,2,n 则有则有.2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定(见教材见教材P64-65P64-65)（2）解释变量Xj(j=1,2,k)是确定性变量，不是随机变量，在重复抽样中取固定值；解释变量之间不存在严格的线性相关性（无完全多重共线性）。（3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。即当n时，（1）回归模型是正确设定的。为使参数的普通最小二乘估计量具有良好的统计性质，对多元线性回归模型提出下列基本假定基本假定：.（4）随机误差项具有零均值和同方差；随机误差项在不同样本点之间是独立的，不存在序列相关：E(i)=0 i=1,2,n Var(i)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n注意：严格讲，这里应该是条件期望、条件方差和条件协方差的形式。教材P65指出：这里的条件期望、条件方差和条件协方差均可以简写为非条件的形式。.（5）随机误差项与解释变量之间不相关：Cov(Xij,i)=0 i=1,2,n；j=1,2,k（6）随机误差项服从零均值、同方差、零协方差的正态分布：iN(0,2)i=1,2,n注意：注意：以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss）假设假设。满足这些假设的线性回归模型，也称为经典线性回归经典线性回归模型模型（Classical Linear Regression Model,CLRM）。在经典假设下，严格讲，这里也应该是条件协方差形式。严格讲，这里也应该是条件分布形式。.2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）关于多元线性回归模型的基本假定关于多元线性回归模型的基本假定26，也可以写成，也可以写成矩阵形式。矩阵形式。见见教材教材P64-65，一定要熟记。，一定要熟记。如：如：秩秩(X)=k+1，即，即Xn(k+1)为列满秩矩阵。为列满秩矩阵。因为各个解释变量之间不存在严格的线性关系，也即任何一个解释变量都不能用其它解释变量的线性组合来表示，这样，矩阵X的任何一列都不可能通过线性变换变成全为0。.2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）.2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）.1.1.普通最小二乘估计普通最小二乘估计二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计（i=1,2,n）随机抽取被解释变量和解释变量的n组样本观测值.根据最小二乘原理，参数估计值应该是下列方程组的解：其中 最小最小.于是得到关于待估参数估计值的正规方程组正规方程组：问题：问题：我们无法象一元回归那样，用小代数公式来表达多元线性回归模型的参数估计量！.上述估计过程的矩阵表示上述估计过程的矩阵表示其中其中 从而，被解释变量的观测值与估计值之差的平方和为：.求解过程如下：（教材（教材P66）要点要点：若A、X均为列向量，则 AX 关于列向量X的导数为A。注意：注意：一个函数关于列向量求导，是指这个函数关于列向量中的每个元素求导，其结果仍应写成列向量的形式。.于是，得到正规方程组：正规方程组：由于假定解释变量之间不存在多重共线性，XX为(k+1)阶满秩矩阵，可得参数的最小二乘估计值为：参数的最小二乘估计值为：该式等价于P66的（3.2.3）式.例例 利用第二版P28表2.1.3中的家庭可支配收入（可支配收入（X X）和消费支出（消费支出（Y Y），估计一元线性回归模型，参数估计的计算可通过下面的表2.2.1进行。.因此，由该样本估计的回归方程为：小代数解法：小代数解法：.对于该例题，如果用矩阵公式求解用矩阵公式求解，那么过程如下：可求得：.例例3.2.1对于第三版第三版P37例例2.3.1的家庭可支配收入-消费支出数据，如果用矩阵公式求解用矩阵公式求解，那么过程如下：见教材教材P67，略.正规方程组正规方程组 的另一种写法：(教材教材P67)对于正规方程组正规方程组 于是 或(*)或（*）是多元线性回归模型正正规方程组规方程组的另一种写法。(*)(*).离差形式的样本回归方程由于所以这就是离差形式的样本回归方程离差形式的样本回归方程。.随机误差项随机误差项 的均值为0，方差的无偏估计量方差的无偏估计量为：提示：提示：证明过程参见潘文卿、李子奈：计量经济学学习指南与练习，高等教育出版社，2010，P37-P37-3838，例，例7 7随机误差项方差的无偏估计量随机误差项方差的无偏估计量.随机误差项方差估计量的无偏性（证明，有补充，证明，有补充，不要求不要求）由于被解释变量的估计值与观测值之间的残差 残差的平方和为：所以有.其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是所以，随机误差项方差的无偏估计量为随机误差项方差的无偏估计量为注意：注意：这里对潘文卿等计量经济学学习指南与练习（P37-38，例，例7）作了补充！提示：tr(A+B)=tr(A)+tr(B)；tr(ABC)=tr(CAB)=tr(BCA)这两步推导，分别利用了序这两步推导，分别利用了序列无关假定和同方差假定！列无关假定和同方差假定！即即.注：注：潘文卿等计量经济学学习指南与练习P50给出了另一种证明。（不要求不要求）.2.2.最大似然估计最大似然估计（Maximum Likelihood,ML)Maximum Likelihood,ML)(不作要求不作要求）随机抽取随机抽取Y Y的的n组样本观测值，其联合概率为组样本观测值，其联合概率为.对数似然函数为对数似然函数为参数的最大似然估计参数的最大似然估计 结果结果与参数的普通最小二乘估计相同。与参数的普通最小二乘估计相同。.3.3.矩估计矩估计（Moment Method,MMMoment Method,MM）（不作要求不作要求）.三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质（教材（教材P70P70）另外，随着样本容量的增加，即当n时，参数估计量还具有渐近无偏性渐近无偏性、一致性一致性和渐近有效性渐近有效性等三个性质。.1线性线性 2无偏性无偏性 这里利用了解释变量为非随机变量解释变量为非随机变量和随机误差项的零均值假设随机误差项的零均值假设：.3有效性 其中利用了.根据高斯根据高斯马尔可夫定理，上述方差在所有无马尔可夫定理，上述方差在所有无偏估计量的方差中是最小的偏估计量的方差中是最小的，所以普通最小二，所以普通最小二乘参数估计量具有有效性。乘参数估计量具有有效性。.四、样本容量问题四、样本容量问题1.最小样本容量最小样本容量2.2.满足基本要求的样本容量满足基本要求的样本容量 计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖性。.最小样本容量最小样本容量（教材（教材P71）所谓所谓“最小样本容量最小样本容量”，是指从最小二乘原理出发，是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。本容量的下限。样本容量必须不少于模型中解释变量的数目（包括样本容量必须不少于模型中解释变量的数目（包括常数项）常数项）：（证明过程，见（证明过程，见教材教材P71P71）这就是最小样本容量。这就是最小样本容量。.2.2.满足基本要求的样本容量满足基本要求的样本容量（教材（教材P71）虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。.五、五、多元线性回归模型实例多元线性回归模型实例.（一）中国居民人均消费模型（一）中国居民人均消费模型 二元二元线性回归模型第二版教材第二版教材P65例例3.2.2 被解释变量：被解释变量：居民人均消费支出CONSP解释变量：解释变量：人均国内生产总值GDPP;滞后一期（前一年）的居民人均消费支出CONSP(-1)模型的形式：模型的形式：二元线性回归模型样本数据：样本数据：见第二版教材P50表2.5.1。.第二版教材第二版教材P50表2.5.1 中国居民人均消费支出与人均GDP（元/人）.Eviews软件运行结果软件运行结果.拟合效果.（二）（二）第三版教材第三版教材P72-73 例例3.2.2已知数据是2006年中国内地各省区城镇居民家庭人均全年可支配收入与人均全年消费性支出。要求：以人均全年消费性支出为被解释变量，以人均全年可支配收入与滞后一期的人均全年消费性支出为解释变量，建立二元线性回归。.第三版教材第三版教材P72-73 例例3.2.2Dependent Variable:YMethod:Least SquaresSample:1 31Included observations:31VariableCoefficientStd.Errort-StatisticProb.C143.3265260.40320.5504020.5864X10.5556440.0753087.3783200.0000X20.2500850.1136342.2007910.0362R-squared0.975634 Mean dependent var8401.468Adjusted R-squared0.973893 S.D.dependent var2388.459S.E.of regression385.9169 Akaike info criterion14.84089Sum squared resid4170093.Schwarz criterion14.97966Log likelihood-227.0337 F-statistic560.5650Durbin-Watson stat1.843488 Prob(F-statistic)0.000000同学们课后应经常上机练习。.