计量经济学 第三章 两变量线性回归.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第,3,章 两变量线性回归,1,引 言,本章介绍古典线性回归分析中的两变量线性回归（一元线性回归），包括两变量线性回归模型，两变量线性回归分析思路，最小二乘参数估计方法及其性质，基于参数估计的检验推断和预测分析方法等。,2,两变量线性回归,两变量线性回归模型,参数估计,最小二乘估计量的性质,回归拟合度评价和决定系数,统计推断,预测,3,古典线性回归分析三个基本特征：,1,、分析框架是,“,古典框架,”,认为经济变量之间存在确定的函数关系，计量经济分析就是发现或推断这种关系；,2,、分析方法主要是对因果关系的回归分析；,3,、需要确定的参数是线性模型中的线性参数，即线性函数的系数。,4,先讨论两变量线性回归分析的原因：,1,、两个变量之间的线性因果关系在现实经济中相当普遍。,2,、虽然许多经济问题涉及到多变量关系或不是线性的，但多变量关系与两变量线性关系分析方法相似，非线性关系多数可转化为线性关系，因此先讨论两变量线性回归有方便之处。,3,、两变量线性回归分析的原理和方法，正是所有计量经济分析的基本原理和方法，对理解计量经济分析的思想方法，进一步学习各种复杂的计量经济分析技术有很大帮助。,5第一节 两变量线性回归模型,一,、变量和函数式,二、变量关系的随机性,三、模型的假设,6,一、变量和函数式（模型变量、关系式确定）,若两变量是确定的函数关系：,Y,=,+,X,Y,被解释变量,X,解释变量,、,待定参数,但由于变量之间通常只是相关关系,:,Y,=,+,X,+,7,1,、模型设定、关系式选择根据：,（,1,）,研究问题的需要（,GDP,、,增长率、入,WTO,对行业冲击、就业等）；,（,2,）经济理论和观点；,（,3,）数据分布、散点图（数据是规律的表现形式、信息载体）；,（,4,）非线性函数和线性变换。,8,2,、例,3.1,：中国旅游业总收入将超过,3000,亿美元吗？从,2004,中国国际旅游交易会上获悉，到,2020,年，中国旅游业总收入将超过,3000,亿美元，相当于国内生产总值的,8%,至,11%,。,1,）是什么决定性的因素能使中国旅游业总收入到,2020,年达到,3000,亿美元？,2,）旅游业的发展与这种决定性因素的数量关系究竟是什么？,3,）怎样具体测定旅游业发展与这种决定性因素的数量关系？,9,应当考虑的问题：,1.,确定作为研究对象的经济变量,（中国旅游业总收入）,2.,分析影响研究对象变动的主要因素,（中国居民收入的增长等）,3.,分析各种影响因素与所研究经济现象的相互关系（决定相互联系的数学关系式）,4.,确定所研究的经济问题与影响因素间具体的数量关系（运用计量经济学方法进行参数估计）,10,应当考虑的问题：,5.,分析并检验所得数量结论的可靠性,（数理统计检验）,6.,运用数量研究结果作经济分析和预测,（对数量分析的实际应用）,11,例,3-2,上海经济的消费规律研究,年份,可支配收入,X,消费性支出,Y,年份,可支配收入,X,消费性支出,Y,1981,637,585,1992,3009,2509,1982,659,576,1993,4277,3530,1983,686,615,1994,5868,4669,1984,834,726,1995,7172,5868,1985,1075,992,1996,8159,6763,1986,1293,1170,1997,8439,6820,1987,1437,1282,1998,8773,6866,1988,1723,1648,1999,10932,8248,1989,1976,1812,2000,11718,8868,1990,2182,1936,2001,12883,9336,1991,2485,2167,2002,13250,10464,12,例,3-2,上海经济的消费规律研究,13,二、变量关系的随机性,1,、,在经济问题中精确的因果关系实际上是不存在的。,因为人类经济行为本身的随机性；忽略的其他众多因素的影响；忽略的高阶项（非线性项）；非实验数据。,2,、正确的计量经济模型应该是随机模型：,Y,=,+,X+,的重要性：,14,随机误差项主要包括下列因素的影响：,即,的重要性,1,）在解释变量中被忽略的因素的影响；,2,）变量观测值的观测误差的影响；,3,）模型关系的设定误差的影响；,4,）其它随机因素的影响。,产生并设计随机误差项的主要原因：,1,）理论的含糊性；,2,）数据的欠缺；,3,）节省原则。,15,三、线性回归模型的基本假设,为什么要作基本假定？,模型中有随机扰动项，估计的参数是随机变量，只有对随机扰动项的分布作出假定，才能确定所估计参数的分布性质，也才可能进行假设检验和区间估计。,只有具备一定的假定条件，所作出的估计才具有较好的统计性质。,16,线性回归模型的基本假设：,6,条假设：,（,1,）变量间存在随机函数关系,Y,=,+,X+,该假设,是对模型随机线性函数关系的归纳。,（,2,）误差项均值为,0,。,对,i=1,2,，,n,都成立,该假设的含义是如果两变量之间确实是线性趋势占主导地位，随机误差只是次要因素时，那么虽然随机扰动会是个别观测值偏离线性函数，但给定解释变量时多次重复观测被解释变量，概率均值会消除随机扰动的影响，使符合线性函数的趋势。,17,（,3,）误差序列同方差,。,对,i=1,，,n,成立。,该假设的含义是对应不同观测数据组误差项分布的发散趋势相同，或者有相同形状的概率分布密度。,（,4,）误差序列不相关。对任意,i,不等于,j,都成立。,18,假设（,4,）的意义是对应不同观测值的误差项之间没有相关性。,（,5,）,X,是确定性的，非随机变量。,（,6,）误差项服从正态分布,假设（,5,）和假设（,6,）都是为了回归分析和统计推断的方便而要求的、人为性较大的假设。因为非随机意味着解释变量取值像实验数据那样可控制和重复，而且没有观测误差。在解释变量与误差项不相关或渐近不相关的情况下，解释变量随机性不会影响回归分析的性质，而且误差项服从正态分布的前提下，相关检验推断也仍然成立。,19,6,个基本假设：,误差项服从正态分布的假设在参数估计时不一定需要，也不会影响最小二乘估计量的性质，但对参数估计量分布性质和相关统计推断有意义。,如果误差项偏离正态分布的情况比较严重，那么小样本情况下相关统计推断和检验不再有效，但在样本容量较大时，参数的最小二乘估计量仍是渐近正态分布的，因此统计检验和推断仍然基本有效。,20,第二节 参数的最小二乘估计,一、参数估计的基本思路,二、样本趋势的拟合和回归残差,三、最小二乘法,21,一、参数估计的基本思路,含义：求,Y,=,+,X+,中,、,的近似值，以及,中隐含的分布参数,。,参数估计是计量经济分析的核心步骤。,参数估计的困难是如何找出估计值，如何评价估计值。,基本思路：用拟合样本趋势的方法，找出样本回归直线，拟合、近似总体回归直线（期望直线），得到参数近似值。,22,二、样本趋势的拟合和回归残差,两点,法、分组求和,关键是建立好的拟合标准,回归残差是核心,回归残差的总体水平,最小二乘法。,最小二乘估计是最基本、重要的计量经济参数估计方法。具有许多好的性质。是其他多种估计、推断、分析的基础。多种计量经济分析方法与,OLS,有内在一致性。,23,样本回归函数（,SRF,）,问题：,能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？,问：能否从该样本估计总体回归函数,PRF,？,回答：能,例,3,：,在总体中有如下一个样本，,总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。,24,该样本的,散点图scatter diagram),：,样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为,样本回归线,（,sample regression lines,）。,记样本回归线的函数形式为：,称为,样本回归函数,（,sample regression function,，,SRF,）。,25,三、最小二乘法,最小化：即找到使得残差平方和最小的参数近似值。,线性回归模型参数的最小二乘估计的特点是根据随机变量理论值和实际值的拟合程度估计参数的。线性回归模型的理论值可以用样本回归直线上的点的坐标表示，实际值就是样本观测数据，因此线性回归模型理论值与实际值的拟合，就是样本回归直线对观测数据的拟合。,26,最小二乘法,若两变量线性回归模型为,Y,=,+,X,+,参数估计就是找到很好拟合样本数据的样本回归直线，问题是怎样算是很好的拟合样本数据呢？就必须先确定评判拟合程度的标准。,判断拟合程度最基本的标准是样本点与回归直线的偏差,其中,i=1,n.,回归残差越小，回归直线离样本点越近，如果所有样本点的回归残差都较小，回归直线对样本点的拟合就最好。,27,最小二乘法,由于各样本点残差的算术和 存在正负抵消因而不能客观评价残差总体水平，而绝对值之和 又不方便分析，因此一般采用残差平方和作为评判回归直线对样本数据的拟合标准。,残差平方和越小，就认为拟合程度越好。,28,参数的普通最小二乘估计（,OLS,）,给定一组样本观测值（,X,i,Y,i,）（,i=1,2,n,）,要求样本回归函数尽可能好地拟合这组值,.,普通最小二乘法,（,Ordinary least squares,OLS,）,给出的判断标准是：二者之差的平方和,最小。,29,30,消费函数参数估计相关指标计算表,X,Y,X*X,XY,Y*Y,1981,637,585,405769,372645,342225,1982,659,576,434281,379584,331776,1983,686,615,470596,421890,378225,1984,834,726,695556,605484,527076,1985,1075,992,1155625,1066400,984064,1986,1293,1170,1671849,1512810,1368900,1987,1437,1282,2064969,1842234,1643524,1988,1723,1648,2968729,2839504,2715904,1989,1976,1812,3904576,3580512,3283344,1990,2182,1936,4761124,4224352,3748096,1991,2485,2167,6175225,5384995,4695889,1992,3009,2509,9054081,7549581,6295081,1993,4277,3530,18292729,15097810,12460900,1994,5868,4669,34433424,27397692,21799561,1995,7172,5868,51437584,42085296,34433424,1996,8159,6763,66569281,55179317,45738169,1997,8439,6820,71216721,57553980,46512400,1998,8773,6866,76965529,60235418,47141956,1999,10932,8248119508624,90167136,68029504,2000,11718,8868,137311524,103915224,78641424,2001,12883,9336,165971689,120275688,87160896,2002,13250,10464,175562500,138648000,109495296,109467,87450,951030000,740340000,577630000,31,因此，由该样本估计的回归方程为：,32,用,Eviews,软件回归的结果,Dependent Variable:Y,Method:Least Squares,Date:02/24/08 Time:19:48,Sample:1981 2002,Included observations:22,Variable Coefficient Std.Errort-StatisticProb.,X 0.751089 0.010396 72.244720.0000,C 237.7530 68.35517 3.478200 0.0024,R-squared0.996183 Mean dependent,var,3975.000,Adjusted R-squared0.995992S.D.dependent,var,3310.257,S.E.of regression 209.5727,Akaike,info criterion13.61453,Sum squared,resid,878414.7Schwarz criterion13.71371,Log likelihood -147.7598F-statistic 5219.299,Durbin-Watson stat1.287765,Prob(F,-statistic)0.000000,33,第三节：最小二乘估计量的性质,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。,一个用于考察总体的估计量，可从如下几个方面考察其优劣性：,（,1,）线性性，即它是否是另一随机变量的线性函数；,（,2,）无偏性，即它的均值或期望值是否等于总体的真实值；,（,3,）有效性，即它是否在所有线性无偏估计量中具有最小方差。,（,4,）,一致性，即当样本容量不断增大时，最小二乘估量是以真实值为极限的一致估计。,34,线性性：,参数估计量可以表示为被解释变量观测值的线性组合。,意义：参数估计量与被解释变量服从相同名称的分布，与误差项服从相同的分布。,证明只要把参数估计量表达式作适当的变形即可。,两个线性组合表达式对于其他性质的分析等还有作用。,35,高斯,马尔可夫定理,(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,线性性：即最小二乘估计量,a,和,b,可以表示为,Y,的观测值的线性组合。,36,37,38,无偏性：即最小二乘估计量,a,和,b,的期望为参数真实值,39,40,最小方差性（有效性）：,41,42,43,一致估计：,定义：参数估计量的概率极限等于参数真实值。,意义：属于大样本性质。保证增加样本容量可以逼近参数真实值。,最小二乘估计在模型假设下是一致估计。,证明利用参数估计的方差极限为,0,和切比雪夫不等式。,概率极限定义。,44,第四节 回归拟合度评价和决定系数,一、拟合度评价的意义,二、离差分解和决定系数,45,一、拟合度评价的意义,拟合度指,回归直线与样本数据趋势的吻合程度,。,虽然,OLS,有好的性质，即它是,BLUE,估计和一致估计,，这些性质保证,OLS,是两变量线性回归参数比较理想的估计，但这些性质只能说明参数估计量的,相对优劣,，而不能说明它的绝对优劣。因此它并不保证具体模型的参数估计结果理想。因为模型假设不一定真正成立，模型设定可能存在错误，而且数据等情况也有差异，所以并不能保证以最小二乘估计为核心的回归分析的可靠性和价值。,46,拟合度评价的意义,拟合度取决于,（,1,）回归直线的选择；（,2,）样本数据的分布。,数据分布取决于（,1,）变量关系；（,2,）扰动因素。,拟合度是判断模型变量关系真实性、模型假设是否成立的重要指标。拟合度较好是对模型的支持，否则意味着必须对模型进行修改。,拟合度的评价标准：残差平方和的问题,受样本容量影响，同时还受样本数值本身的影响，没有横向可比性也就不能建立拟合度好坏的临界标准。,应建立新的指标。,47,二、离差分解和决定系数,离差决定的程度作为拟合度判断标准,Y,的离差 被回归值 或解释变量,X,决定的程度。,离差分解：根据模型的基本假定，,Y,与,X,之间的线性关系是主要关系，,X,是以线性方式决定,Y,的最主要因素，那么,Y,的离差应该主要被回归值的离差或,X,的离差决定，因此可以在回归分析的基础上，用,Y,的离差被回归值或,X,的离差决定的程度作为评价拟合度的标准。,48,决定系数,决定系数,决定系数与残差平方和既有区别，又有联系。,例,消费模型的决定系数。,一般计量软件都直接输出,49,1,、总离差平方和的分解,已知由一组样本观测值（,X,i,Y,i,），,i,=1,2,n,得到如下样本回归直线,50,如果,Y,i,=,i,即实际观测值落在样本回归“线”上，则,拟合最好,。,可认为,，,“离差”,全部来自回归线，而与“残差”无关。,51,对于所有样本点，则需考虑这些点与样本均值离差的平方和,可以证明,：,记,总体平方和,（,Total Sum of Squares,）,回归平方和,（,Explained Sum of Squares,）,残差平方和,（,Residual Sum of Squares,）,52,TSS=ESS+RSS,Y,的观测值围绕其均值的,总离差,(total variation),可分解为两部分：,一部分来自回归线,(ESS),，,另一部分则来自随机势力,(RSS),。,在给定样本中，,TSS,不变，,如果实际观测点离样本回归线越近，则,ESS,在,TSS,中占的比重越大，因此,拟合优度,：回归平方和,ESS/Y,的总离差,TSS,53,2,、,可决系数,R,2,统计量,称,R,2,为,（样本）,可决系数,/,判定系数,（,coefficient of determination),。,可决系数,的取值范围,：,0,，,1,R,2,越接近,1,，说明实际观测点离样本线越近，拟合优度越高,。,54,例,3-4,用上面公式可以求出,R,2,0.994,，也可直接在,Eviews,读出。,55,运用可决系数时应,注意,：,可决系数只是说明列入模型中的所有解释变量对应变量的联合的影响程度，不说明模型中每个解释变量的影响程度（在多元中）,回归的主要目的如果是经济结构分析，不能只追求高的可决系数，而且要得到总体回归系数可信的估计量。可决系数高并不一定每个回归系数都可信任。,如果建模目的只是为了预测应变量值，不是为了正确的估计回归系数，一般可考虑有较高的可决系数的模型。,56,第五节 统计推断,统计推断：进一步检验模型，检验模型适用范围，检验参数，检验变量关系等。,一、最小二乘估计量的分布性质和标准化,二、误差方差的估计,三、参数的置信区间和假设检验,57,一、,最小二乘估计量的分布性质和标准化,统计推断和假设检验的基础,参数估计量的统计分布性质和特征。,根据对最小二乘估计量性质的分析，已知最小二乘估计量,LSE,服从以参数真实值为中心，以误差项方差的一个比例为方差的正态分布。,要利用参数估计量的分布性质进行统计检验、推断，必须先标准化为正态分布。,58,变量的显著性检验,回归分析,是要判断,解释变量,X,是否是,被解释变量,Y,的一个显著性的影响因素。,在,一元线性模型,中，就是要判断,X,是否对,Y,具有显著的线性性影响。这就需要进行变量的显著性检验。,变量的显著性检验所应用的方法是数理统计学中的假设检验,。,计量经计学中,，,主要是针对变量的参数真值是否为零来进行显著性检验的。,59,假设检验,所谓,假设检验,，,就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设,。,假设检验采用的逻辑推理方法是反证法。,先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设。,判断结果合理与否，是基于“小概率事件不易发生”这一原理的,60,变量的显著性检验,对于两变量线性回归方程中的,b,已经知道它服从正态分布,由于真实的 未知,在用它的无偏估计量 替代时,可构造如下统计量,61,二、误差方差的估计,1,、标准状态分布中包含未知参数,必须先估计出来。,2,、本身也是线性回归模型的重要组成部分，是反映随机项性质、情况的重要隐含参数。,3,、因为 详见,P91,证明。,因此 是 的无偏估计。,4,、称“残差的标准差”。,上海消费函数例。,62,5,、用 代 ，得到的统计量服从,t,分布，而不是正态分布。,6,、两个,t,统计量是统计推断检验的基础。,63,三、参数的置信区间和假设检验,假设检验的逻辑基础：如果一个随机变量服从一个特定分布（包括种类、均值、方差等特征），那么其取值范围，取各种范围中值的机会（概率）是一定的。因此可以根据其实际值是否出现在通常（,95%,、,99%,概率等）会出现的范围内，而判断该值及相关变量、参数水平是否合理。,最小二乘估计的统计推断也是这个原理。可检验：置信区间（区间估计），参数特定值的假设检验。,64,构造参数的置信区间的重要性,因为参数估计量值是参数真实值的近似，不仅与参数真实值有偏差，而且本身不能说明偏差的大小，使用时必然会不放心。置信区间限定了参数估计量与参数真实值的偏差程度，使我们对变量关系的了解更加深入和明确，对经济规律的可靠程度和适用情况更有把握。,区间估计常常比点估计更加重要,65,假设检验,可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多,“,近,”,。,要判断样本参数的估计值在多大程度上可以,“,近似,”,地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的,“,区间,”,，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的,置信区间估计,。,参数的置信区间,66,如果存在这样一个区间，,称之为,置信区间,（,confidence interval,）；,1-,称为,置信系数,（,置信度,）（,confidence coefficient,），,称为,显著性水平,（,level of significance,）；,置信区间的端点称为,置信限,（,confidence limit,）,或,临界值,（,critical values,）。,67,一元线性模型中,，,和,的置信区间,:,在变量的显著性检验中已经知道：,意味着，如果给定置信度（,1-,）,，从分布表中查得自由度为,(n-2),的临界值，那么,t,值处在,(-t,/2,t,/2,),的概率是,(1-,),。表示为：,即,68,于是得到,:(1-,),的置信度下,的,置信,区间是,在上述,收入,-,消费支出,例中，如果给定,=0.05,，查表得：,由于,于是，,的置信区间分别为,：,（,0.7283,，,0.7717),69,由于置信区间一定程度地给出了样本参数估计值与总体参数真值的,“,接近,”,程度，因此置信区间越小越好。,要缩小置信区间，需,（,1,）增大样本容量,n,，,因为在同样的置信水平下，,n,越大，,t,分布表中的临界值越小；同时，增大样本容量，还可使样本参数估计量的标准差减小；,（,2,）提高模型的拟合优度,，因为样本参数估计量的标准差与残差平方和呈正比，模型拟合优度越高，残差平方和应越小。,70,假设检验,检验步骤：,（,1,）对总体参数提出假设,原假设,H,0,：,=0,，,备择假设,H,1,：,0,（,2,）以原假设,H,0,构造,t,统计量，并由样本计算其值,（,3,）给定显著性水平,，查,t分布表，得临界值,t,/2,(n-2),(,4),比较，判断,若,|t|,t,/2,(n-2),，,则拒绝,H,0,，,接受,H,1,；,若,|t|,t,/2,(n-2),，,则拒绝,H,1,，,接受,H,0,；,71,对于两变量线性回归方程中的 ，可构造如下,t,统计量进行显著性检验：,在,上述,收入,-,消费支出,例中，已经分别得知,72,t,统计量的计算结果分别为：,给定显著性水平,=0.05,，查,t,分布表得临界值,t,0.05/2,(20)=2.086,|t,1,|2.086,，说明,家庭可支配收入在,95%,的置信度下显著，即是消费支出的主要解释变量,.,73,第六节 预测,预测是计量经济分析的主要目的之一。,预测的根据是经济规律具有的连续性。,预测的问题是规律的变化，规律的稳定性、可靠程度等。,预测分为,点预测,和,区间预测,。,74,一、点预测,定义,以估计出参数的线性回归模型为基础，对对应解释变量特定水平、未来值的被解释变量水平进行估计。,只要把解释变量,X,的特定值,X*,代入回归直线方程，就可以得到,Y,的预测值,我们称 为被解释变量的一个预测或“点预测”。,75,预测残差（误差）：,由于 未知，因此预测误差也未知。,在上述收入,-,消费支出例中，得到的样本回归函数为,则在,X,*=14000,处，,*,=237.5+0.75,14000,=10737.576,二、点预测的性质,1.,线性性,*,是随机变量 的确定性系数的线性组合，,*,的线性性得到了证明，也服从正态分布。,77,2.,无偏性,即,*,是,Y,*,的无偏性。,78,3.,预测方差和最小方差性,因此,*,的性质表明它服从均值,Y,*,、方差,为 的正态分布,79,三、区间预测,80,根据样本容量,n,和显著性水平 ，查,t,分布临界值表得 ，那么 的置信度会成立，即,也就是说，,Y,*,的置信区间为,81,做上例消费,-,支出模型置信区间为,95%,的区间预测,检验临界值仍然是,代入置信区间公式，可得,这就是假设,2003,年上海人均可支配收入是,14000,元时，人均消费水平95%,会出现的水平范围。,用,Eviews,也可以直接输出预测值序列和相应标准差序列。,82,对于,Y,的总体均值,E(Y|X),与个体值的预测区间（置信区间）,:,（,1,）,样本容量,n,越大，预测精度越高，反之预测精度越低；,（,2,）,样本容量一定时，置信带的宽度当在,X,均值处最小，其附近进行预测（插值预测）精度越大；,X,越远离其均值，置信带越宽，预测可信度下降。,83,习题,6,X,Y,1990,34,25,1991,44,28,1992,49,34,1993,58,36,1994,67,40,1995,76,42,1996,85,46,84,习题,6,Y=11.7506+0.4086*X,t-Statistic=5.934799 12.66038,Y(90)=48.5233,85,