计量经济学多元线性回归模型及参数估计.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,计量经济学多元线性回归模型及参数估计,本章主要内容,3.1,多元线性回归模型及其参数估计,3.2,多元线性回归模型的统计检验,3.3,多元线性回归模型的区间估计,3.1,多元线性回归模型 及其参数估计,一、,多元线性回归模型及其基本假定,二、多元线性回归模型的参数估计,三、,OLS,参数估计量的统计性质,四、样本容量问题,五、,多元线性回归模型实例,由于：,在实际经济问题中，一个变量往往受到多个原因变量的影响；,“从一般到简单”的建模思路。,所以，线性回归模型中的解释变量往往有多个（至少开始是这样）。这样的模型被称为,多元线性回归模型,。,一、,多元线性回归模型及其基本假定,多元线性回归模型的一般形式为：,习惯上，把常数项看成为一个,虚变量（记作,X,i,o,）,的系数，在参数估计过程中,该虚变量的样本观测值始终取,1,（即,X,i,0,1,）,。,i,=1,2,n,这样：,模型中解释变量的数目为（,k+1,）,。,1.,多元线性回归模型的形式,(,见教材,P62-63),多元线性回归模型的矩阵表达式为：,其中,注意这里的符号和,教材,P63,的对应关系。,其中,如果多元线性回归模型的样本回归模型为：,(,教材,P63),i,=1,2,n,则有,2.,多元线性回归模型的基本假定,(,见教材,P64-65),（,2,）解释变量,X,j,(,j=,1,2,k,),是确定性变量，不是随机变量，在重复抽样中取固定值；解释变量之间不存在严格的线性相关性（无完全多重共线性）。,（,3,）各个解释变量,X,j,在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量,X,j,的样本方差趋于一个非零的有限常数,Q,j,。即当,n,时，,（,1,）回归模型是正确设定的。,为使参数的普通最小二乘估计量具有良好的统计性质，对,多元线性回归,模型提出下列,基本假定,：,（,4,）随机误差项具有零均值和同方差；随机误差项在不同样本点之间是独立的，不存在序列相关：,E(,i,)=0 i=1,2,n,Var(,i,)=,2,i=1,2,n,Cov(,i,j,)=0 i,j i,j=,1,2,n,注意：严格讲，这里应该是条件期望、条件方差和条件协方差的形式。教材,P65,指出：这里的条件期望,、,条件方差和条件协方差均,可以简写为非条件的形式。,（,5,）,随机误差项与解释变量之间不相关：,Cov(X,ij,i,)=0 i=1,2,n,；,j=,1,2,k,（,6,）随机误差项服从零均值、同方差、零协方差的正态分布：,i,N(0,2,)i=1,2,n,注意：,以上假设也称为线性回归模型的,经典假设,或,高斯（,Gauss,）假设,。满足这些假设的线性回归模型，也称为,经典线性回归模型,（,Classical Linear Regression Model,CLRM,）。,在经典假设下，,严格讲，这里也应该是条件协方差形式。,严格讲，这里也应该是条件分布形式。,2.,多元线性回归模型的基本假定（矩阵形式）,关于多元线性回归模型的基本假定,26,，也可以写成矩阵形式。,见教材,P64-65,，一定要熟记。如：,秩,(X)=k+1,，即,X,n(k+1),为列满秩矩阵。,因为各个解释变量之间不存在严格的线性关系，也即任何一个解释变量都不能用其它解释变量的线性组合来表示，这样，矩阵,X,的任何一列都不可能通过线性变换变成全为,0,。,2.,多元线性回归模型的基本假定（矩阵形式）,2.,多元线性回归模型的基本假定（矩阵形式）,“从一般到简单”的建模思路。,（1）回归模型是正确设定的。,二、多元线性回归模型的参数估计,多元线性回归模型的一般形式为：,一、多元线性回归模型及其基本假定,（1）回归模型是正确设定的。,严格讲，这里也应该是条件协方差形式。,该式等价于P66的（）式,2 多元线性回归模型的统计检验,二、多元线性回归模型的参数估计,多元线性回归模型的形式(见教材P62-63),随机误差项的均值为0，方差的无偏估计量为：,E(i)=0 i=1,2,n,严格讲，这里也应该是条件协方差形式。,Cov(Xij,i)=0 i=1,2,n；,1.,普通最小二乘估计,二、多元线性回归模型的参数估计,（,i=1,2,n,）,随机抽取被解释变量和解释变量的,n,组样本观测值,根据最小二乘原理，参数估计值应该是下列方程组的解：,其中,最小,于是得到关于待估参数估计值的,正规方程组,：,问题：,我们无法象一元回归那样，用小代数公式来表达多元线性回归模型的参数估计量！,上述估计过程的矩阵表示,其中,从而，被解释变量的观测值与估计值之差的平方和为：,求解过程如下：,（教材,P66,）,要点,：,若,A,、,X,均为列向量，则,AX,关于列向量,X,的导数为,A,。,注意：,一个函数关于列向量求导，是指这个函数关于列向量中的每个元素求导，其结果仍应写成列向量的形式。,见教材P64-65，一定要熟记。,2 多元线性回归模型的统计检验,于是，得到正规方程组：,满足基本要求的样本容量,1 多元线性回归模型及其参数估计,这里利用了解释变量为非随机变量和随机误差项的零均值假设：,注意：这里对潘文卿等计量经济学学习指南与练习（P37-38，例7）作了补充！,由于被解释变量的估计值与观测值之间的残差,iN(0,2)i=1,2,n,虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。,（3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。,满足这些假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model,CLRM）。,二、多元线性回归模型的参数估计,多元线性回归模型的形式(见教材P62-63),（2）解释变量Xjj=1,2,k)是确定性变量，不是随机变量，在重复抽样中取固定值；,于是，得到,正规方程组：,由于假定解释变量之间不存在多重共线性，,XX,为,(k+1),阶满秩矩阵，可得,参数的最小二乘估计值为：,该式,等价于,P66,的（）式,例,利用第二版,P28,表中的家庭,可支配收入（,X,）,和,消费支出（,Y,）,，估计一元线性回归模型，参数估计的计算可通过下面的表进行。,多元线性回归模型的一般形式为：,其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。,虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。,对于第三版P37例的家庭可支配收入-消费支出数据，如果用矩阵公式求解，那么过程如下：,“从一般到简单”的建模思路。,满足基本要求的样本容量（教材P71）,多元线性回归模型的形式(见教材P62-63),E(i)=0 i=1,2,n,（1）回归模型是正确设定的。,Cov(Xij,i)=0 i=1,2,n；,Cov(Xij,i)=0 i=1,2,n；,一、多元线性回归模型及其基本假定,（2）解释变量Xj(j=1,2,k)是确定性变量，不是随机变量，在重复抽样中取固定值；,随机抽取Y的n组样本观测值，其联合概率为,虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行因此，由该样本估计的回归方程为：,小代数解法：,对于该例题，如果,用矩阵公式求解,，那么过程如下：,可求得：,例,对于,第三版,P37,例,的家庭可支配收入,-,消费支出数据，如果,用矩阵公式求解,，那么过程如下：,见,教材,P67,，略,正规方程组,的另一种写法：,(,教材,P67),对于,正规方程组,于是,或,(*),或（*）是多元线性回归模型,正规方程组,的另一种写法。,(*),(*),离差形式的样本回归方程,由于,所以,这就是,离差形式的样本回归方程,。,随机误差项,的均值为,0,，,方差的无偏估计量,为：,提示：证明过程参见潘文卿、李子奈：计量经济学学习指南与练习，高等教育出版社P37-38，例7,随机误差项方差的无偏估计量,随机误差项方差估计量的无偏性,（,证明，有补充，,不要求,）,由于被解释变量的估计值与观测值之间的残差,残差的平方和为：,所以有,其中,符号“,tr”,表示矩阵的迹，其定义为矩阵主对角线元素的和。,于是,所以，,随机误差项方差的无偏估计量为,注意：,这里对潘文卿等,计量经济学学习指南与练习,（,P37-38,，例,7,）作了补充！,提示：,tr(A+B)=tr(A)+tr(B),；,tr(ABC)=tr(CAB)=tr(BCA),这两步推导，分别利用了序列无关假定和同方差假定！,即,注：,潘文卿等,计量经济学学习指南与练习,P50,给出了另一种证明。,（,不要求,）,2.,最大似然估计（,Maximum Likelihood,ML)(,不作要求,）,随机抽取,Y,的,n,组样本观测值，其联合概率为,对数似然函数为,参数的最大似然估计,结果与参数的普通最小二乘估计相同。,3.,矩估计（,Moment Method,MM,）,（,不作要求,）,三、,OLS,参数估计量的统计性质,（教材,P70,）,另外，随着样本容量的增加，即当,n,时，参数估计量还具有,渐近无偏性,、,一致性,和,渐近有效性,等三个性质。,1,线性,2,无偏性,这里利用了,解释变量为非随机变量,和,随机误差项的零均值假设,：,3,有效性,其中利用了,根据高斯,马尔可夫定理，上述方差在所有无偏估计量的方差中是最小的，所以普通最小二乘参数估计量具有有效性。,四、样本容量问题,1.,最小样本容量,2.,满足基本要求的样本容量,计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖性。,最小样本容量,（教材,P71,）,所谓,“,最小样本容量,”,，是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,样本容量必须不少于模型中解释变量的数目（包括常数项）：,（证明过程，见教材,P71,）,这就是最小样本容量。,2.,满足基本要求的样本容量,（教材,P71,）,虽然当,nk+1,时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。,五、,多元线性回归模型实例,（一）中国居民人均消费模型,二元,线性回归模型,第二版教材,P65,例,被解释变量：,居民人均消费支出,CONSP,解释变量：,人均国内生产总值,GDPP;,滞后一期（前一年）的居民人均消费支出,CONSP(-1),模型的形式：,二元线性回归模型,样本数据：,见第二版教材,P50,表。,第二版教材,P50,表中国居民人均消费支出与人均,GDP,（元,/,人）,Eviews,软件运行结果,拟合效果,（二）,第三版教材,P72-73,例,已知数据是,2006,年中国内地各省区城镇居民家庭人均全年可支配收入与人均全年消费性支出。要求：以人均全年消费性支出为被解释变量，以人均全年可支配收入与滞后一期的人均全年消费性支出为解释变量，建立二元线性回归。,