第9章-模型设定和数据问题的深入探讨优秀PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,9,章 模型设定和数据问题的深入探讨,1,1.,函数形式误设,当一个多元回归模型不能正确地说明被解释变量和观察到的解释变量之间的关系时，此模型存在函数形式误设问题。,误设一个模型的函数形式可能产生严重的后果。我们得到的局部效应的估计量可能有偏或不一致。,一种方法：向模型加入任何重要变量的二次项，进行一个联合显著性检验（,F,检验）,2,例,9.1,犯罪的经济模型,被解释变量：,Narr86,（,1986,年被捕次数）,解释变量：,pcnv,以前被定罪比例,avgsen,平均判刑期限，单位：月,tottime 18,岁以来的服刑时间，单位：月,Ptime86 1986,年的服刑时间，单位：月,Qemp86 1986,年被雇佣季度数,inc86 1986,年合法收入，单位：百美元,black,如果是黑人，,black=1,hispan,如果是西班牙裔，,hispan=1,3,首先我们将被解释变量向解释变量回归，不包含任何平方项,Use crime1,reg narr86 pcnv avgsen tottime ptime86 qemp86 inc86 black hispan,4,加入重要变量的平方项,reg narr86 pcnv pcnvsq avgsen tottime ptime86 pt86sq qemp86 inc86 inc86sq black hispan,5,加入平方项以检测函数形式误设,如果原模型满足假定,MLR.4,，那么在方程中添加自变量的非线性关系应该是不显著的,在例,9.1,中添加了显著的二次项，检验出函数形式误设定,如果原模型中有许多解释变量，使用掉大量自由度缺失,添加二次项也不能得到被忽视的某种特定非线性关系,6,对函数误设定的一般检验：,RESET,回归设定误差检验,RESET,在原模型中添加,OLS,拟合值的多项式，以侦查函数形式误设定,大多数的研究表明平方项和三次项很有用,估计,y,=,b,0,+,b,1,x,1,+,+,b,k,x,k,+,d,1,2,+,d,1,3,+error,，,并检验,H,0,:,d,1,=0,d,2,=0,，用,F,统计量或,LM,统计量,一个显著的,F,统计量说明函数形式可能存在问题,在零假设和,G-M,假定下，,F,的分布大样本近似为,F,2,n-k-3,分布；也可以用,LM,型检验,7,例,9.2,住房价格方程,Use hprice1.dta,assess,（评估价，单位：千美元）,price,（房价，单位：千美元）,lotsize,（土地的面积，单位：平方英尺）,sqrft,（房屋的面积，单位：平方英尺）,bdrms,（卧室数）,8,reg price lotsize sqrft bdrms,predict double r1,gen double r2=r1*r1,gen double r3=r2*r1,reg price lotsize sqrft bdrms r2 r3,test r2 r3,原函数存在函数形式误设定,9,reg lprice llotsize lsqrft bdrms,predict lphat,gen lph2=lphat*lphat,gen lph3=lphat*lph2,reg lprice llotsize lsqrft bdrms lph2 lph3,test lph2 lph3,我们在,5%,置信水平不能拒绝,9.5,式,10,使用,RESET,的注意事项,RESET,在探测非线性形式的函数误设时很好用，而不是一般的遗漏变量,Wooldridge,在,1995,年证明：当被遗漏变量的期望值是所包含自变量的线性函数时，,RESET,无法探测出遗漏变量问题,尽管如此，如果被遗漏变量的期望是自变量的非线性形式时，一个显著的,RESET,可以指出遗漏变量问题,也要注意到，,RESET,检验的一个缺陷是，当零假设被拒绝后，它并不能建议我们下一步怎么做,11,对非嵌套模型的检验,下面哪一个模型更好？,Mizon and Richard(1986):,构造一个综合模型，将每个模型都作为一个特殊情况包含其中，然后检验导致每个模型变的约束。,综合模型是：,检验,12,Davidson and MacKinnon(1981),如果（,9.7,）正确，那么从（,9.6,）得到的拟合值在（,9.7,）中应当不显著。,为了检验（,9.7,），我们首先通过,OLS,估计模型（,9.6,）以得到拟合值。,将得到的拟合值作为另外的解释变量放到（,9.7,）中，用,t,统计量检验其显著性。,13,非嵌套检验注意问题,不一定会出现一个明显好的模型。两个模型可能都被拒绝，也可能没有一个被拒绝,在后一种情形：我们可以用调整,R,2,来判断,前一种情形：如果关键自变量对,y,的影响没有多大差异，使用哪个模型实际上并不紧要,如果用,DM,检验拒绝了,9.7,，这并不意味着,9.6,就是正确的模型，模型,9.7,可能因多种误设定的函数形式而被拒绝,14,2.,对无法观测解释变量使用代理变量,如果模型误设是因为得不到一个重要解释变量的数据，怎么办？,可能通过使用一个,代理变量,避免或减轻遗漏变量偏误。,代理变量就是与我们在分析中试图控制而又观测不到的变量相关的变量，如用,IQ,作为能力变量的代表,15,代理变量,x,3,*,观测不到，它的代理变量为,x,3,我们用,x,3,代替,x,3,*,，,y,对,x,1,，,x,2,，,x,3,回归，,合适的条件,下可以得到,1,2,的一致解,遗漏变量问题的植入解,合适的条件,E(u|x,1,x,2,x,3,*)=0,E(x,3,*|x,1,x,2,x,3,)=E(x,3,*|x,3,)=,当这两个假设被满足，我们作回归,y,=(,b,0,+,b,3,d,0,)+,b,1,x,1,+,b,2,x,2,+,b,3,d,3,x,3,+(,u,+,b,3,v,3,),，只要重新定义截距项，误差项和,x,3,系数。,16,例,9.3 IQ,作为能力的代理变量,use wage2.dta,gen educIQ=educ*IQ,reg lwage educ exper tenure married south urban black,reg lwage educ exper tenure married south urban black IQ,reg lwage educ exper tenure married south urban black IQ educIQ,17,.,reg lwage educ exper tenure married south urban black,Source|SS df MS Number of obs=935,-+-F(7,927)=44.75,Model|41.8377619 7 5.97682312 Prob F =0.0000,Residual|123.818521 927 .133569063 R-squared =0.2526,-+-Adj R-squared=,0.2469,Total|165.656283 934 .177362188 Root MSE =.36547,-,lwage|Coef.Std.Err.t P|t|95%Conf.Interval,-+-,educ|.0654307 .0062504 10.47,0.000 .0531642 .0776973,exper|.014043 .0031852 4.41 0.000 .007792 .020294,tenure|.0117473 .002453 4.79 0.000 .0069333 .0165613,married|.1994171 .0390502 5.11 0.000 .1227801 .276054,south|-.0909036 .0262485 -3.46 0.001 -.142417 -.0393903,urban|.1839121 .0269583 6.82 0.000 .1310056 .2368185,black|-.1883499 .0376666 -5.00,0.000 -.2622717 -.1144281,_cons|5.395497 .113225 47.65 0.000 5.17329 5.617704,-,18,加入,IQ,的回归,.reg lwage educ exper tenure married south urban black sdIQ,Source|SS df MS Number of obs=935,-+-F(8,926)=41.27,Model|43.5360161 8 5.44200202 Prob F =0.0000,Residual|122.120267 926 .131879338 R-squared =0.2628,-+-Adj R-squared=,0.2564,Total|165.656283 934 .177362188 Root MSE =.36315,-,lwage|Coef.Std.Err.t P|t|95%Conf.Interval,-+-,educ|.0544106 .0069285 7.85,0.000 .0408133 .068008,exper|.0141458 .0031651 4.47 0.000 .0079342 .0203575,tenure|.0113951 .0024394 4.67 0.000 .0066077 .0161825,married|.1997644 .0388025 5.15 0.000 .1236134 .2759154,south|-.0801695 .0262529 -3.05 0.002 -.1316916 -.0286473,urban|.1819463 .0267929 6.79 0.000 .1293645 .2345281,black|-.1431253 .0394925 -3.62,0.000 -.2206304 -.0656202,sdIQ|.0535739 .0149293 3.59,0.000 .0242747 .0828731,_cons|5.536914 .1192088 46.45 0.000 5.302963 5.770864,-,19,加入交互项,eduIQ,20,使用代理变量注意事项,当假设不满足时，我们不能得到一致的估计量,比如,x,3,*=,d,0,+,d,1,x,1,+,d,2,x,2,+,d,3,x,3,+,v,3,实际上，我们可以估计,y,=(,b,0,+,b,3,d,0,)+(,b,1,+,b,3,d,1,),x,1,+(,b,2,+,b,3,d,2,),x,2,+,b,3,d,3,x,3,+(,u,+,b,3,v,3,),。,偏误方向将依赖于,b,3,和,d,j,的符号,21,用滞后变量作为代理变量,如果存在不可观测的变量，并且你又找不到合理的解释变量，怎么办？,可以包含一个滞后的被解释变量，说明同时影响过去和当前,y,水平的被遗漏变量。,很显然的,我们必须认为过去和当前的,y,相关，才有意义,22,例,9.4,城市犯罪率,lcrmrte,（,log,（以,1000,人为单位的犯罪率）,llawexpc,（,log,（诉讼费用）,lcrmrt_1,（滞后的,lcrmrte,）,unem,（失业率）,use crime2.dta,reg lcrmrte unem llawexpc if d87=1,reg lcrmrte unem llawexpc lcrmrt_1,23,犯罪的例子：不包含滞后的被解释变量,.,reg lcrmrte llawexpc unem if year=87,Source|SS df MS Number of obs=46,-+-F(2,43)=1.30,Model|.271987199 2 .1359936 Prob F =0.2824,Residual|4.48998214 43 .104418189 R-squared =0.0571,-+-Adj R-squared=,0.0133,Total|4.76196934 45 .105821541 Root MSE =.32314,-,lcrmrte|Coef.Std.Err.t P|t|95%Conf.Interval,-+-,llawexpc|,.2033652,.1726534 1.18 0.245 -.1448236 .5515539,unem|,-.0290032 .0323387 -0.90,0.375 -.0942205 .0362141,_cons|3.342899 1.250527 2.67 0.011 .8209721 5.864826,-,24,犯罪的例子：包含滞后的被解释变量,.,reg lcrmrte llawexpc lcrmrt_1 unem,Source|SS df MS Number of obs=46,-+-F(3,42)=29.73,Model|3.23732846 3 1.07910949 Prob F =0.0000,Residual|1.52464088 42 .036300973 R-squared =0.6798,-+-Adj R-squared=,0.6570,Total|4.76196934 45 .105821541 Root MSE =.19053,-,lcrmrte|Coef.Std.Err.t P|t|95%Conf.Interval,-+-,llawexpc|,-.1395764 .1086412 -1.28,0.206 -.3588231 .0796704,lcrmrt_1|1.193923 .1320985 9.04 0.000 .9273371 1.460508,unem|,.008621 .0195166 0.44,0.661 -.0307652 .0480072,_cons|.0764511 .8211433 0.09 0.926 -1.580683 1.733585,-,25,因变量的测量误差,令,y,*,为我们感兴趣的变量，但,y,是它的报告值。定义测量误差为,e,0,=,y,y,*,估计的模型,y,=,b,0,+,b,1,x,1,+,+,b,k,x,k,+,u,+,e,0,什么时候,OLS,产生有偏的结果？,如果,E(,e,0,)0,，,b,0,有偏,当无偏时，我们要比没有测量误差时面临更大的方差,4.,有测量误差时,OLS,的性质,26,例,9.5,有测量误差的储蓄方程,27,例,9.6,废品率中的测量误差,28,解释变量的测量误差,我们希望估计,y,=,b,0,+,b,1,x,1,*,+,u,。,定义测量误差为,e,1,=,x,1,x,1,*,。,假设,E(,e,1,)=0,E(,y,|,x,1,*,x,1,)=E(,y,|,x,1,*),意思是，在,x,1,*,被控制住之后，,x,1,不影响,y,。,实际模型估计：,y,=,b,0,+,b,1,x,1,+(,u,b,1,e,1,),测量误差对,OLS,估计量的影响依赖于我们对,e,1,和,x,1,相关性的假设。,假设,Cov(,x,1,e,1,)=0,，,OLS,无偏,假设,Cov(,x,1,*,e,1,)=0,，即经典的含误差变量假设，那么，,Cov(,x,1,e,1,)=E(,x,1,e,1,)=E(,x,1,*,e,1,)+E(,e,1,2,)=0+,s,e,2,x,1,与误差相关，所以，估计量有偏。,29,注意，增加的误差只是,Var(,x,1,*)/Var(,x,1,),。,因为,Var(,x,1,*)/Var(,x,1,)1,，估计量偏向,0,称作衰减偏误。,多元回归中情况更加复杂，但可以预期到，在经典的含误差变量假设下的衰减偏误仍会存在。,30,例,9.7,存在测量误差的,GPA,方程,31,5,数据缺失、非随机样本和异常观测,数据缺失,如果所有观测值都在模型的一个变量上缺失数据，它就不能使用了,如果数据随机缺失，使用限制于没有缺失值的观测的样本就好,问题产生于数据的系统性缺失,比如高收入的个体拒绝提供收入数据,非随机样本,如果样本基于一个解释变量进行选择的，那么估计量是无偏的，这称作外生样本选择,如果样本基于被解释变量进行选择的，这称作内生样本选择,内生样本选择将导致选择性偏误,异常观测,如果将一个观测从回归分析中去掉，会使得,OLS,估计值发生很大的变化,32,例,9.8 R&D,的强度与企业规模,rdintens:R&D,支出占销售额的百分比,sales,：企业销售额（百万美元）,profmarg:,利润占销售的百分比,use RDCHEM.dta,reg rdintens sales profmarg,graph twoway scatter rdintens sales,reg rdintens sales profmarg if sales1,时,R&D,强度随企业规模的扩大而提高，对,9.41,式两边取对数得到,reg lrd lsales profmarg,reg lrd lsales profmarg if sales1,时,R&D,强度随企业规模的扩大而提高，对,9.41,式两边取对数得到,检验,R&D,强度是否随企业规模的扩大而提高,当,11,时,R&D,强度随企业规模的扩大而提高，对,9.41,式两边取对数得到,Log(rd)=,0,+,1,log(sales)+,2,profmarg+u,检验,1,=1,36,37,例,9.10,州婴儿死亡率,在某些情况下，一开始就怀疑某特定观测与样本中所有其他观测根本不同,通常在诸如城市、县或州的加总数据时发生,Infmort,每,1000,个新生婴儿在出生后第一年死亡人数,pcinc,人均收入,physic,每,100000,市民拥有的医生人数,popul,人口总数,由于哥伦比亚特区婴儿死亡率,20.7,，而第二高的州为,12.4,use INFMRT.dta,reg infmort lpcinc lphysic lpopul if year=1990,reg infmort lpcinc lphysic lpopul if infmort20&year=1990,38,39,6.,最小绝对离差估计,(LAD),LAD,的设计是在,x1xk,条件下的条件中位数，对异常观测有充分的回弹余地,关于,LAD,估计量的统计推断都只有在样本容量逐渐增大的情况下才是合理的,并非总能一致的估计条件均值函数中出现的参数,40,