第4讲-面板数据：随机效应与随机效应.ppt

,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,第四讲,面板数据分析,随机效应模型,vs.,固定效应模型,Random-Effect Model vs.Fixed-Effect Model,随机效应面板模型,Random-Effect Panel Model,随机效应模型的基本假设,随机效应模型的参数估计,随机效应模型的参数检验,对,Unobserved Effect,存在性的检验,Panel Data Commands in Stata for Random Effect Modelling,如果总体很大，抽取的样本单位具有较大 的随机性，那么与个体有关的效应将被视 为具有随机分布的性质,id,year,y,x1,x2,x3,x4,1001,1,2000,25,400,2400,7.78,1001,2,2400,26,3000,5400,8.59,1001,3,0,27,0,0,0.00,1002,1,0,38,0,0,0.00,1002,2,2000,39,4000,6000,8.70,1002,3,3600,40,0,3600,8.19,1003,1,700,18,0,700,6.55,1003,2,1000,19,0,1000,6.91,1003,3,0,20,30,30,3.43,基本假设,假设,RE.1,(a),严格外生性,E(u,it,|x,i,c,i,)=0,x,i,=x,i1,x,i2,x,iT,t=1,2,T,(b)c,i,独立于,x,it,，即,Ec,i,|x,i,=Ec,i,=0,讨论,RE.1(b),可将独立性条件放宽为不相关条件，即,Cov(c,i,x,i,)=0,或,E(c,i,x,i,)=0,，从而保证一致性。,线性模型写为：,其中，,v,it,，称为合成误差,对于所有,T,期，模型改写为：,y,i,=,x,it,+,c,i,J,T,+,u,i,=,X,i,+,v,i,=,c,i,+,x,it,+,u,it,=,x,it,+,v,it,y,it,J,T,=,11,.,1,1,T,=,c,i,+u,it,记,=,E,(,v v,),，,正定从而可逆,对于每一个,i,都是一样的，因为在,RE,模型 中，,v,i,来自于同一个总体,容易证明：,Ev,i,|x,i,=0,随机扰动项的方差,-,协方差矩阵为：,i,i,RE.3,假设,(a),同方差假设：,E,(,u,u,|,x,),=,2,I,(b),E,(,c,2,|,x,),=,2,i,i,iu,T,i,i,c,假设,RE.2,具体表述：,这种结构表明误差项是同方差且存在序列 相关的,在,RE.1-RE.3,成立时，如果我们用,Pooled OLS,来估计模型，估计量是一致的,但是,POLS,估计量忽略了随机误差项的结构 信息，所以不是有效的,而且其方差,-,协方差矩阵不会等于,2,(,X,X,),1,因此可以考虑,GLS,的方法,RE.1,和,RE.2,假设保证后面的,GLS,估计结果 是一致的，,RE.3,保证,v,具有同方差结构，从 而假设保证,FGLS,估计结果是最有效的,v,随机效应模型的参数估计,Random Effect,方法原理,估计,v,2,估计,2,由随机效应方差结构可知，,2,=,Ev,v,t,s,c,cit,is,对每个个体i，,的随机效应可行估计量,把 和 代入,的表达式，进而得到,从而得到,的随机效应可行估计量,实际应用中得到的 可能不是正数,负的 表明可能存在比较大的负的序列相关,假,设,RE3.a,或其他假设被违反了,此时，应该考虑加入时间,dummy,或者更一般的,FGLS,方法,计算 和,Random Effect,方法步骤,首先进行,Pooled OLS,估计,根据,RE.3,构造,理解随机效应可行估计量,可以证明，随机效应可行估计量等价于下,式的,POLS,估计量,误差项,不存在自相关并且对所有的,i,和,t,都有相同的方差，即,，所以对上面的,回归模型的,POLS,估计是,BLUE,的,前面的式子表明随机效应估计量实际上是 通过准去除时间均值（,quasi time demeaning,）而得到的,随机效应并不是在每个时间,t,去掉因变量和 自变量的时间均值，而是在每个时间,t,去掉 时间均值的一部分,的统计性质,在假设,RE.1-RE.3,下，,是渐进等价的，所 以在所有满足,E,(,u,i,|,X,i,),=,0,假设下一致的估计,量中是最有效的,稳健方差矩阵估计量,已知,在估计,RE,方差矩阵时，估计,用的是随机 效应回归残差,此时得到的估计量称为稳健方差矩阵估计 量，因为无论假设,RE.3,成立与否，它都是 正确的方差矩阵估计量,而且在,T,固定,n,比较大时，有比较好的有限 样本特性,一般,FGLS,方法,不依赖于,RE.3,仅仅假定,特别适用于,u,it,存在异方差、序列相关的情况,此时,可以由下式来估计：,的一般,FGLS,估计量为：,是POLS回归的残差,的一般,FGLS,估计量与随机效应估计量的 形式完全相似，只是这里的,不具有,RE.3,的随机效应结构，而是具有的更为一般的 结构,可能包含异方差和序列相关,若,RE.1-3,都满足，那么,RE,与,FGLS,的两个 估计结果都是有效的,若,RE.3,不满足，那么,FGLS,更有效,比较,RE,与,FGLS,方法,但是，如果,RE.3,满足，那么,FGLS,会导致更 多的噪音,T,增加时,FGLS,估计的元素会增加，待估参数的 个数为,T(T+1)/2,个,使得方差、误差增大,FGLS,有限样本特性可能比较差,RE,只需要估计,2,个参数：,RE,有明显的模型设定，,FGLS,没有,实际应用中，特异性误差,u,it,在,t,上一般会存 在序列相关，不能采用随机效应方法，而 一般,FGLS,方法在,n,不是很大时的有限样本,特性不好,可以采取中间路线,例如，我们可以假设,u,it,服从,AR(1),自相关，这时,我们只需要估计序列自相关参数,，,u,与,c,22,就可以估计,对,Q,个多重假设,H,0,:,R,=,r,进行假设检验,在,RE.3,成立时，可用,F,检验,不论,RE.3,是否成立，都可以用,Wald,检验：,RE.3,成立与否，决定对,的估计方法,随机效应模型的参数检验,对,Unobserved Effect,存在性的检验,如果不存在,Unobserved Effect,，直接用,Pooled OLS,估计就可以了,对,Unobserved Effect,存在性的检验也可以 看成是模型设定检验,在,Pooled Model,和,RE Model,之间进行选择,检验假设：,H,0,:,c,=,0,，即,v,it,不存在序列相关,2,Breusch and Pagan(1980),检验,拉格朗日乘数检验,(LM),依赖于对,u,it,的正态假设,具体检验统计量为,原假设成立下，,LM,统计量卡方分布，自由 度为,1,Wooldridge(2002),检验统计量,BPW,在原假设成立下，,v,it,序列不相关，,BPW,的渐进分 布是标准正态分布,该统计量能够探察,v,it,中的许多种序列相关,但是拒绝原假设并不意味着,RE,的误差结构就是正 确的,如果,x,it,中没有包括滞后的被解释变量，,v,it,即使满足,Random Effect,的误差结构，原假设仍然会被拒绝,面板数据分析：固定效应模型,Fixed-Effect Panel Model,主要内容,固定效应模型的基本假设,固定效应模型的固定效应转换估计,固定效应模型的虚拟变量回归,固定效应模型的,FGLS,固定效应模型与随机效应模型,Panel Data Commands in Stata for Fixed Effect Modelling,复习随机效应模型,RE,估计：,GLS,固定效应模型的基本假设,与,RE,模型最大的不同在于,FE,模型假设,c,i,可 以与,u,it,相关，即对,c,i,u,it,是否成立不做假定,FE.1,FE.1,严格外生性假定,E(u,it,|x,i,c,i,)=0,t=1,2,T,x,i,=x,i1,x,i2,x,iT,FE.1,少了,RE.1,中的,(b),独立性假定，因此从 这一点而言，,Fixed Effects Methods,比,Random Effects Methods,更加稳健,FE.2,x,it,=,x,it,x,FE.2,离差阵满秩，即可逆,rank,E,(,X,i,QX,i,),=,K,矩阵,Q,称为去时间均值算子,上面条件还可写为：,讨论,FE.2,该假定保证估计方程有解,该假定保证估计量具有良好的渐进性质,该假设要求,X,中不能包含不随时间改变的变 量,解释变量如果包含不随时间变化的变量，我们 无法识别这些变量对的影响,不随时间变化的变量指的是对所有的样本单位 都不随时间而变化,如果该变量对部分样本单位随时间变化，就可以包 含进来,FE.3,FE.3,球形随机扰动项假设,该假定保证了,Fixed Effect,估计量是有效 的，且可以进行渐进推断,固定效应转换估计,固定效应模型的估计策略是转换方程消去 不可观测的效应,c,i,我们可以采用一阶差分的方法，也可以采 用固定效应转换,(fixed effects transformation),固定效应转换也叫做组内转换,(within transformation),的固定效应估计量,FE,是对组内模型进行的,POLS,估计，所以也 称为组内估计量,在固定效应模型假设下，,是无偏且一致的,FE.1,严格外生性假设中中假定,E(u,it,|x,i,c,i,)=0,可以推出,但是如果在随机效应模型假设下，,仅仅用 了组内的信息，因此它不是有效估计量,的有效性,首先考察组内转换模型的随机误差项,在球形随机扰动项假设下：,有,在时间,t,上无条件同方差，但存在着负序列相关,这是否表明转换模型的,POLS,估计量（或固定效 应估计量）在假设,FE.1-FE.3,成立下不是有效估计 量呢？是否我们应当采用,GLS,的方法来得到模型有效估计量呢？,可以证明，,GLS,估计量和,OLS,估计量是一 样的，采用,GLS,估计量没有效率上的任何 改善,虽然模型的随机误差项负序列相关，由于 去时间均值算子,Q,的特性，模型的,OLS,估计 量是有效的,稳健方差矩阵估计量,同方差与无序列相关假设不成立时：,线性约束检验：,Wald,统计量,虚拟变量回归,(LSDV),虚拟变量回归是传统的固定效应估计方法,把,c,i,看成参数，和,一起进行估计,对此，可以采用最小二乘虚拟变量回归,定义,有,y,it,=,x,it,+,d,i,c,+,u,it,估计结果,可以证明：,最小二乘虚拟变量回归得到的的估计量和 固定效应估计量是一样的,Wooldridge(2002),认为这里,LSDV,和,FE,相等 仅仅是一种巧合,很多情况下，尤其在非线性面板数据模型 中，把,c,看成参数和,一起进行估计得到的 估计量是不一致的,非主要参数问题,当截面观测增加时，,c,i,的个数也增加了，所 以当,n,趋于无穷大，,c,i,并没有截面信息的积 累，而时间长度,T,是固定的，随着截面长度,n,趋于无穷大，非主要参数,c,i,的个数也趋于 无穷大，加上非线性模型的复杂性很难先 行消去,c,i,，参数的估计也被污染,（,contaminated,），从而在一般情况下也 无法得到一致估计量,虚拟变量回归估计量性质,FE,是,的一个无偏估计量，当,T,固定而,n,趋 于无穷时，,FE,是,的一个一致估计量；而,c,i,仅仅是,c,i,的无偏估计量，在,T,固定时,c,i,不是 一致估计量,计量软件一般不汇报固定效应,c,i,的估计值，不过经常会汇报整体截距项的值,固定效应的,FGLS,当,FE.3,球形随机扰动项假设不成立时：,条件方差不为常数,条件方差与无条件方差不等,存在异方差或序列相关,可以考虑,FGLS,，前提是：,条件同方差成立：,E,(,u u,|,X,c,),=,E,(,u u,),=,而在时间,t,上,u,it,异方差或序列相关,E,(,u u,|,X,c,),2,I,iiiiuT,i,i,i,i,i,i,固定效应,FGLS,的估计结果,的渐进方差估计：,当假设,FE.1,3,都满足时，,FE,的,FGLS,不一 定比,FE,估计更好，但是,当,FE.3,不满足时，用,FE,的,FGLS,更好,随机效应和固定效应估计量的比较,可以证明：,RE,估计量是,Between,估计量和,FE,估计量的加权平均,FE,模型对,c,i,与,x,i,的关系不作假定，因此比,RE,更,Robust,，其代价是,FE,中由于包含了一个均值,x,，自由度自动减少,了一个，并且,的精度降低；,解释变量过多，易引起多重共线性,(LSDV),；,FE,观察不出不随时间改变的变量的影响,FE,随机效应和固定效应估计量的比较,或,E,(,c,i,|,X,i,),=,E,(,c,i,),=,0,Cov,(,c,i,x,it,),=,0,RE,还是,FE,：,Hausman,检验,仅仅从估计量的性质来说，我们可能认为，随机效应估计量要好于固定效应,在对两个估计量进行比较时，我们发现当个体效应方差非常大的情况或,T,非常大时，,FE,估计量是,RE,估计量的一个极限,但是，随机效应模型有一个非常强的假设：,FE,是无论原假设成立与否都是一致的，但 在原假设下不是有效的,RE,在原假设下是一致的，并且渐进有效,（样本越大越有效），但如果原假设被拒 绝，则,RE,不是一致的,不论在原假设还是备择假设下，我们都保 持严格外生假设。如果严格外生假设被违 反，则固定效应和随机效应估计量都是不 一致的,RE,还是,FE,：应用考虑,数据,当数据为省份、国家、单位资料时，即为非随 机抽取的资料时用,FE,较合适；为随机抽取的资 料时用,RE,较合适,研究问题：政策分析,政策变量通常会与观察不到的个体特征,c,i,与观 察到的,x,i,相关,c,i,与,x,i,存在相关性,FE,模型更合适,Stata,程序应用实例,假设有,3,期的跟踪数据，变量及数据如下：,id,y,a,b,c,d,1001,2000,25,400,2400,7.78,1002,0,38,0,0,0.00,1003,700,18,0,700,6.55,id,y,a,b,c,d,1001,2400,26,3000,5400,8.59,1002,2000,39,4000,6000,8.70,1003,1000,19,0,1000,6.91,id,y,a,b,c,d,1001,0,27,0,0,0.00,1002,3600,40,0,3600,8.19,1003,1000,19,0,1000,6.91,截面,1,：,截面,2,：,截面,3,：,use D:cross1.dta,foreach aaa of varlist y-d,ren aaa aaa1,sort id,save D:ff1.dta,replace,use D:cross2.dta,foreach bbb of varlist y-d,ren bbb bbb2,sort id,save D:ff2.dta,replace,use D:cross3.dta,foreach ccc of varlist y-d,ren ccc ccc3,sort id,save D:ff3.dta,replace,1.,创建,panel data,：,调整过后，各截面的变量名修正为（数值不变）：,id,y1,a1,b1,c1,d1,1001,2000,25,400,2400,7.78,1002,0,38,0,0,0.00,1003,700,18,0,700,6.55,id,y2,a2,b2,c2,d2,1001,2400,26,3000,5400,8.59,1002,2000,39,4000,6000,8.70,1003,1000,19,0,1000,6.91,id,y3,a3,b3,c3,d3,1001,0,27,0,0,0.00,1002,3600,40,0,3600,8.19,1003,1000,19,0,1000,6.91,截面,1,：,截面,2,：,截面,3,：,2.,截面合并,:,use D:ff1.dta,merge id using D:ff2.dta,drop _merge,sort id,merge id using D:ff3.dta,drop _merge,save D:total.dta,replace,id,y1,a1,b1,c1,d1,y2,a2,b2,c2,d2,y3,a3,b3,c3,d3,1001,2000,25,400,2400,7.78,2400,26,3000,5400,8.59,0,27,0,0,0.00,1002,0,38,0,0,0.00,2000,39,4000,6000,8.70,3600,40,0,3600,8.19,1003,700,18,0,700,6.55,1000,19,0,1000,6.91,1000,19,0,1000,6.91,合并后的,文件,”,total”,中,，数据格式如下,：,3.,转化为面板数据：,use D:total.dta,xtset id,reshape long,y a b c d,i(id)j(year),save D:sample.dta,replace,id,year,y,a,b,c,d,1001,1,2000,25,400,2400,7.78,1001,2,2400,26,3000,5400,8.59,1001,3,0,27,0,0,0.00,1002,1,0,38,0,0,0.00,1002,2,2000,39,4000,6000,8.70,1002,3,3600,40,0,3600,8.19,1003,1,700,18,0,700,6.55,1003,2,1000,19,0,1000,6.91,1003,3,0,20,30,30,3.43,转化后的面板数据格式：,如果仍将转化回宽数据格式，命令行如下,:,id,y1,a1,b1,c1,d1,y2,a2,b2,c2,d2,y3,a3,b3,c3,d3,1001,2000,25,400,2400,7.78,2400,26,3000,5400,8.59,0,27,0,0,0.00,1002,0,38,0,0,0.00,2000,39,4000,6000,8.70,3600,40,0,3600,8.19,1003,700,18,0,700,6.55,1000,19,0,1000,6.91,1000,19,0,1000,6.91,use D:sample.dta,reshape wide,y-d,i(id)j(year),save D:sample.dta,replace,面板数据回归指令：,GLS random-effects(RE)model,xtreg depvar indepvars if in,re RE_options,Between-effects(BE)model,xtreg depvar indepvars if in,be BE_options,Fixed-effects(FE)model,xtreg depvar indepvars if in weight,fe FE_options,ML random-effects(MLE)model,xtreg depvar indepvars if in weight,mle MLE_options,实例：,Random-effects(RE)model:,xtreg y a b c d,i(id),xtreg y a b c d if a=25,i(id),Fixed-effects(FE)model:,xtreg y a b c d,fe i(id),Logit Model:,xtlogit y a b c d,i(id),xtlogit y a b c d,fe i(id),Probit Model:,xtprobit y a b c d,i(id),id,year,y,a,b,c,d,1001,1,2000,25,400,2400,7.78,1001,2,2400,26,3000,5400,8.59,1001,3,0,27,0,0,0.00,1002,1,0,38,0,0,0.00,1002,2,2000,39,4000,6000,8.70,1002,3,3600,40,0,3600,8.19,1003,1,700,18,0,700,6.55,1003,2,1000,19,0,1000,6.91,1003,3,0,20,30,30,3.43,