第三章双变量回归模型-估计问题.ppt

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,1-,*,计 量 经 济 学 基 础 与 应 用,Two-Variable Regression Model:Problem of Estimation,chapter three,第三章 双变量回归模型,:,估计问题,第一节,普通最小二乘法,(,OLS),普通最小二乘法,由数学家,C.F.Gauss,提出,在回归分析中，有多种构造,SRF,的方法，而最广泛使用的是OLS,方法,(method of ordinary least squares),。,原因很简单：,OLS,优良的统计性质使其有效且流行。,“Under certain assumptions,，,the method of least squares has some very attractive statistical properties that have made it one of the most powerful and popular methods of regression analysis.”,第一节,普通最小二乘法,(,OLS),回归分析的主要目的，根据,SRF去估计,PRF,残差,SRF,又是怎样决定的呢,?,准则一：,该准则合理吗？,第一节,普通最小二乘法,(,OLS),第一节,普通最小二乘法,(,OLS),准则二：最小二乘法则,杜绝了残差 在,SRF,周围散布很宽，总和却很小的可能,故只需对 求导，并令其等于零，便可解出,。,最小二乘法的数学原理,将所有纵向距离平方后相加，即得误差平方和，,“,最好,”,直线就是使误差平方和最小的直线，即拟合直线在总体上最接近实际观测点。,于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。,求 解,正规方程,(normal equations),及其解,其中，和 是,X,和,Y,的样本均值,，和,表示变量对均值的离差。上面的估计量由于从最小二乘原理演算而来，因此也称作最小二乘估计量。,OLS,估计量的数值性质,易计算性,OLS,估计量是纯粹由可观测的,(,即样本,),量表达的，因此这些量是容易计算的。,点估计量,即对于给定的样本，每一估计量仅提供有关总体参数的一个,(,点,),值,一旦从样本数据得到,OLS,估计值，便容易画出样本回归线。,该回归线有如下性质：,它通过,Y,和,X,的样本均值；,估计的,Y,均值等于实测的,Y,均值；,残差估计量的均值为,0,；,残差估计量和预测的,Y,值不相关；,残差估计量和,X,不相关。,第二节 古典线性回归模型：,OLS,的基本假定,统计推断的两个部分：参数估计和假设检验,。,如果我们的目的仅仅是模型参数，则第一节所用的方法就足够了，但我们的目的不仅仅是获得参数估计值，而且要对真实的贝塔系数作出推断。,PRF,:,对解释变量和误差作出假定是必要的。,古典线性回归模型,（,classical linear regression model,CLRM,），又称高斯,(,Gaussian),或标准,(standard),线性回归模型。,CLRM,的基本假设,假定,1,：线性回归模型,模型 对参数而言是线性的,假定,2,：,X,是非随机的,在重复抽样中，,X,值是固定的。条件回归分析。,假定,3,：扰动项 的均值为零,。,CLRM的基本假设,模型中不显含而体现在扰动项,u,i,中的因素，对于,Y,的均值没有系统影响。正的,u,i,值抵消了负的,u,i,值，平均影响为零。,CLRM,的基本假设,假定,4,：同方差性，即 的方差相等,注意几个术语,同方差性,(,homoscedasticity,),异方差性,(,heteroscedasticity,),意味着,Y,i,的条件方差也是同方差的,CLRM,的基本假设,CLRM,的基本假设,CLRM,的基本假设,假定,5,：扰动项无序列相关,(serial correlation),或自相关,(auto correlation),CLRM,的基本假设,假定,6,：,u,i,和X,i,的协方差为零，或,假定,7,：观测次数,n,必须大于待估参数的个数,假定,8,：,X,的值要有变异性,假定,9,：正确地设定了模型,假定,10,：无多重共线性（,多元回归模型再讨论,）,解释变量之间没有完全的线性关系。,CLRM,可信吗？,计量经济学中的,CLRM,相当于微观经济学中的完全竞争模型,。,第三节,OLS,估计的精度,OLS,估计量随样本的变动而变动，估计量精度,(,precision,),由估计量的标准误差,(standard error,se),来衡量。,第三节,OLS,估计的精度,的估计,是真实但未知的 的,OLS,估计量,n-2,是被称为自由度,(degrees of freedom,df,),的个数,则表示残差平方和,(residual sum of squares,RSS),第四节,OLS,的性质：高斯,-,马尔科夫定理,高斯,-,马尔可夫定理,(,GaussMarkov,theorem,),：,在给定经典线性回归模型的假定下，,OLS,估计量，在无偏线性估计量中，有最小方差，即,OLS,估计量是最优线性无偏估计量（,best linear unbiased,estimator,BLUE,）。,BLUE,1,、线性,:,指的是参数估计量是被解释变量的线性函数。,2,、无偏性,:,参数估计量的均值（数学期望）等于被估计的真值，即,3,、有效性（最小方差性）：,在所有上述线性无偏估计量中具有最小方差,第五节 拟合优度的度量：判定系数,r,2,拟合优度,(,goodness of fit,),是指样本回归线与样本观测值之间的拟合程度。,判定系数,r,2,(Coefficient of determination),或,R,2,就是衡量样本回归线对数据拟合程度的总度量。,如何计算呢？,恒等式变换,把该式进行恒等式变换：,（的变异）（由 变异所解释的部分）（未解释部分）,用小写字母写成与均值的离差形式：,两边平方并求和：,平方和分解,TSS=ESS+RSS,判定系数,判定系数,r,2,测度了在,Y,的总变异,(,variation,),中由回归模型解释的那部分所占的比例。,r,2,非负,一个知识点：判定系数,r,2,相关系数的关系,相关系数,r,2,与相关系数不同,:,在回归分析中，,r,2,是一个比相关系数更有意义的度量，因为前者告诉我们在因变量的变异中解释变量解释的那个部分所占的比例，即一个变量的变异在多大程度上决定另一个变量的变异，,r,2,为其提供了一个总的度量。,