二元选择模型.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,上一页,下一页,定性选择模型,第十五讲,在教材第八章中曾介绍解释变量为虚拟变量的模型，本章要讨论的是因变量为虚拟变量的情形。在这种模型中，因变量描述的是特征、选择或者种类等不能定量化的东西，如乘公交还是自己开车去上班、考不考研究生等。在这些情况下，因变量是定性变量，我们可以用定义虚拟变量的方法来刻画它们。这种因变量为虚拟变量的模型被称为定性选择模型（,Qualitative choice models,）或定性响应模型（,Qualitative response models,）。,如果只有两个选择，我们可用,0,和,1,分别表示它们，如乘公交为,0,，自驾车为,1,，这样的模型称为二元选择模型（,binary choice Models,），多于两个选择（如上班方式加上一种骑自行车）的定性选择模型称为多项选择模型（,Multinomial choice models,）。,第一节 线性概率模型,二元选择模型如何估计呢？由于它看上去象是一个典型的,OLS,回归模型，因而一个简单的想法是采用,OLS,法估计。当然，对结果的解释与常规线性回归模型不同，因为二元选择模型中因变量只能取两个预定的值。线性概率模型（,LPM,）一般形式如下：,这看上去与典型的,OLS,回归模型并无两样，但区别是这里,Y,只取,0,和,1,两个值，观测值可以是个人、公司、国家或任何其他横截面个体所作的决定。解释变量中可以包括正常变量和虚拟变量。,下面用一个关于是否读研究生的例子来说明如何解释线性概率模型的结果。模型为：,其中：,设回归结果如下（所有系数值均在,10%,水平统计上显著）：,对每个观测值，我们可根据（,15.3,）式计算因变量的拟合值或预测值。在常规,OLS,回归中，因变量的拟合值或预测值的含义是，平均而言，我们可以预期的因变量的值。但在本例的情况下，这种解释就不适用了。假设学生甲的平均分为,3.5,，家庭年收入为,5,万美元，,Y,的拟合值为,尽管因变量在这个二元选择模型中只能取两个值：,0,或,1可是该学生的的拟合值或预测值为,0.8,。我们将该拟合值解释为该生决定读研的概率的估计值。因此，该生决定读研的可能性或概率的估计值为,0.8,。需要注意的是，这种概率不是我们能观测到的数字，能观测的是读研还是不读研的决定。,对斜率系数的解释也不同了。在常规回归中，斜率系数代表的是其他解释变量不变的情况下，该解释变量的单位变动引起的因变量的变动。而在线性概率模型中，斜率系数表示其他解释变量不变的情况下，该解释变量的单位变动引起的因变量等于,1,的概率的变动。,GPA,的系数估计值,0.4,意味着家庭收入不变的情况下，一个学生的,GPA,增加一个点（如从,3.0,到,4.0,），该生决定去读研的概率的估计值增加,0.4,。,INCOME,的系数估计值,0.002,表明，一个学生的成绩不变，而家庭收入增加,1000,美元，该生决定去读研的概率的估计值增加,0.002,。,LPM,模型中，解释变量的变动与虚拟因变量值为,1,的概率线性相关，因而称为线性概率模型。,线性概率模型存在的问题,（,1,）线性概率模型假定自变量与,Y=1,的概率之间存在线性关系，而此关系往往不是线性的。,（,2,）拟合值可能小于,0,或大于,1,，而概率值必须位于,0,和,1,的闭区间内。,回到有关读研的例子。假设学生乙的,GPA,为,4.0,，家庭收入为,20,万美元，则代入（,15.3,）式，,Y,的拟合值为,从而得到一个不可能的结果（概率值大于,1,）。假设另有一个学生丙的,GPA,为,1.0,，家庭收入为,5,万元，则其,Y,的拟合值为,-0.2,，表明读研的概率为负数，这也是一个不可能的结果。,解决此问题的一种方法是，令所有负拟合值都等于,0,，所有大于,1,的拟合值都等于,1,。但也无法令人十分满意，因为在现实中很少会有决策前某人读研的概率就等于,1,的情况，同样，尽管某些人成绩不是很好，但他去读研的机会仍会大于,0,。线性概率模型倾向于给出过多的极端结果：估计的概率等于,0,或,1,。,（,3,）另一个问题是扰动项不是正态分布的。事实上，线性概率模型的扰动项服从二项分布。,（,4,）此外，线性概率模型存在异方差性。扰动项的方差是,p,(1-,p,),，这里,p,是因变量等于,1,的概率，此概率对于每个观测值不同，因而扰动项方差将不是常数，导致异方差性。可以使用,WLS,法，但不是很有效，并且将改变结果的含义。,（,5,）最后一个问题是在线性概率模型中，以及 不再是合适的拟合优度测度。事实上，此问题不仅是线性概率模型的问题，而是所有定性选择模型的问题。较好一点的测度是模型正确预测的观测值的百分比。首先，我们将每一预测归类为,1,或,0,。如果拟合值大于等于,0.5,，则认为因变量的预测值为,1,。若小于,0.5,，则认为因变量的预测值为,0,。然后，将这些预测值与实际发生的情况相比较，计算出正确预测的百分比：,需要指出的是，这个测度也不是很理想，但预测结果的好坏，并非定性选择模型唯一关心的事，这类模型常被用于研究影响人们进行某个决策的因素。,一个竞选的例子。假设候选人甲和乙二人竞选某市市长，我们可以用一个二元选择模型来研究影响选民决策的因素，设模型为：,其中：,Variable,Coefficient,Standard error,t-Statistic,p-Value,Constant,-0.51,0.19,-2.65,0.01,INCOME,0.0098,0.003,3.25,0.00,AGE,0.016,0.0053,3.08,0.00,MALE,0.0031,0.13,0.02,0.98,表,15-2,两候选人选举线性概率模型回归结果,Dependent variable,：,CAND1,Observations,：,30,=0.58,Adjusted =0.53,Residual Sum of Squares=3.15,F-statistic=11.87,如表,15,2,所示，,INCOME,的斜率估计值为正，且在,1%,的水平上显著。年龄和性别不变的情况下，收入增加,1000,元，选择候选人甲的概率增加,0.0098,。,AGE,的斜率估计值也在,1%,的水平上显著。在收入和性别不变的情况下，年龄增加,1,岁，选择候选人甲的概率增加,0.016,。,MALE,的斜率系数统计上不显著，因而没有证据表明样本中男人和女人的选票不同。,我们可以得出如下结论：年老一些、富裕一些的选民更喜欢投票给候选人甲。,表,15,3,给出,CAND1,的拟合值，每个大于等于,0.5,的拟合值计入,CAND1,为,1,的预测，而小于,0.5,的拟合值则计入,CAND1,为,0,的预测。,从表,15,3,可看出，,30,个观测值中，,27,个（或,90%,）预测正确。选甲的,14,人中，,12,人（或,85.7%,）预测正确。选乙的,16,人中，,15,人（或,93.8%,）预测正确。,是,0.58,，表明模型解释了因变量的,58%,的变动，这与,90%,的正确预测比例相比，低了不少。注意表,15,3,中有一些拟合值大于,1,或小于,0,。这是我们前面指出的这类模型的缺点之一，这些拟合值是概率的估计值，而概率永远不可能大于,1,或小于,0,。,第二节,Probit,模型和,Logit,模型,一,Probit,和,Logit,方法概要,估计二元选择模型的另一类方法假定回归模型为,这里 不可观测，通常称为潜变量（,latent variable,）。我们能观测到的是虚拟变量：,这就是,Probit,和,Logit,方法的思路。,Probit,模型和,Logit,模型的区别在于对（,15.7,）式中扰动项,u,的分布的设定，前者设定为正态分布，后者设定为,logistic,分布。,（,15.7,）式与线性概率模型的区别是，这里假设潜变量的存在。例如，若被观测的虚拟变量是某人买车还是不买车，将被定义为“买车的欲望或能力”，注意这里的提法是“欲望”和“能力”，因此（,15.7,）式中的解释变量是解释这些元素的。,从（,15.8,）式可看出，乘上任何正数都不会改变 ，因此这里习惯上假设,Var(u,i,)=1,，从而固定,的规模。由（,15.7,）和（,15.8,）式，我们有,其中,F,是,u,的累积分布函数。,如果,u,的分布是对称的，则 ，我们可以将上式写成,我们可写出似然函数：,（,15.9,）式中,F,的函数形式取决于有关扰动项,u,的假设，如果 的累积分布是,logistic,分布，则我们得到的是,logit,模型。在这种情况下，累积分布函数为：,因此,这是因为，由（,15.11,）式，有：,结合（,15.9,）式，对于,logit,模型，有：,上式的左端是机会（,odds,）的对数，称为对数机会比率（,log-odds ratio,），因而上式表明对数机会比率是各解释变量的线性函数，而对于线性概率模型，为各解释变量的线性函数。,如果（,15.9,）式中 服从正态分布，我们得到的是,probit,模型（或,normit,模型），在这种情况下，累积分布函数为：,无论是,probit,模型还是,logit,模型，极大似然函数（15.10,）都伴随着非线性估计方法，目前很多计量经济分析软件已可用于,probit,和,logit,分析，用起来很方便。,由于累积正态分布和累积,logistic,分布很接近，只是尾部有点区别，因此，我们无论用（,15.11,）还是（,15.12,），也就是无论用,logit,法还是,probit,法，得到的结果都不会有很大不同。可是，两种方法得到的参数估计值不是直接可比的。由于,logistic,分布的方差为 ，因此，,logit,模型得到的的估计值必须乘以 ，才能与,probit,模型得到的估计值相比较（正态分布标准差为,1,）。,二,Probit,模型,Probit,模型可以解决很多线性概率模型中遇到的问题。如我们在前面指出的，线性概率模型会给出小于,0,或大于,1,的这种不可能的概率估计值，,Probit,模型所依据的是累积正态概率分布，将避免这类问题的发生，同时它给出接近,0,或,1,的概率估计值的机会也要小于线性概率模型。与线性概率模型相比，,Probit,模型更准确地描述我们打算研究的许多决策过程。如图,15-1,所示,概率,=F(Z),1,0,Z,Probit,模型,线性概率模型,图,15-1,线性概率模型和,Probit,模型,虽然,Probit,模型实际是非线性的，但它可以以一种类似于其他经济模型的方式写出。首先，我们需要将等式（,15.12,）稍微改写一下它代表由累积正态概率函数执行的变换：,在上式中，,F,是一个函数，即将正态概率函数的一个值转换成概率的累积正态概率函数。,Probit,模型使用其反函数，将概率值转换成,Z,的值。,Probit,模型为,尽管乍看上去上式像一个典型的回归模型，但它是一个非线性模型，因为有 这一项。,Probit,模型不能用,OLS,法估计，应采用极大似然法估计。,Probit,模型（以及我们下面要讨论的,Logit,模型）在大样本（观测值数以百计）时效果最好。如果样本中两种可能的选择都有足够的信息，则效果更佳。例如，对于我们前面的读研究生的例子，设观测值为,200,，若其中仅,3%,的人决定读研，也就是,200,人中仅有,6,人，那么在此样本中就没有足够的信息来给出好的估计值，选择读研的样本过少，使得回归结果的可信程度不高。,我们可以将两个候选人的选举模型用,Probit,模型估计，使用与前面一样的变量和数据，估计结果如表,15-4,所示。,表,10,4,两候选人选举模型的,Probit,回归结果,Dependent variable,：,CAND1,Variable,Coefficient,Standard error,t-Statistic,p-Value,Constant,-5.19,1.70,-3.06,0.00,INCOME,0.071,0.034,2.10,0.04,AGE,0.0730.034,2.18,0.03,MALE,-0.70,0.90,-0.78,0.44,Observations,：,30,McFadden pseudo-R,2,=0.61,Residual Sum of Squares=2.62,采用,Probit,模型估计的结果与前面用线性概率模型估计的结果有所不同。采用,Probit,模型的情况下，,INCOME,和,AGE,的系数估计值在,5%,的误差水平上显著，而在线性概率模型的情况下，在,1%,的水平上显著。,由于我们知道线性概率模型存在严重的问题，因此,Probit,结果可能更准确一些。可是，如果是实际研究的话，要有一个大得多的样本。,Probit,模型的系数估计值不能像线性概率模型那样，解释成概率的变动。使用,Probit,模型的一种有意思的方式是求出拟合值进行预测，如我们用线性概率模型所做的一样（表,15-3,）。,Probit,模型中用,McFadden,的,pseudo-R,2,作为拟合优度的测度。,pseudo-R,2,是用于虚拟因变量模型的拟合优度的测度的名字。,pseudo-,原意是伪（假），这里采用它，意思是与常规,R,2,类似但不相同，而不是说它是假的。,对于定性选择模型，已经开发了几种有用的,pseudo-R,2,测度，这里所用的是,McFadden,开发的。很多估计,Probit,或,Logit,模型的计量经济程序计算,pseudo-R,2,。本例中给出的,0.61,的含义是，,Probit,模型解释了因变量,61%,的变动。,三,.Logit,模型,Logit,模型基于累积,logistic,分布，而不是,probit,模型所用的累积正态分布。对于任何一个回归，,probit,和,logit,估计方法的结果往往从统计显著性的角度看是类似的。,Logit,模型给出的概率估计值限制在,0,和,1,之间，与,probit,一样，而且,logit,模型也避免了接近,0,或,1,的极端概率值。这两个模型都克服了线性概率模型遇到的主要问题。,Logit,模型的形式如下：,在这里，因变量的拟合值代表 的可能性的对数。术语概率（,probability,）和机会（,odds,）不是一回事。如果一个事件的概率是,0.25,，则机会将是：,我们通常将其写为,1:3,，读作,1,对,3,。如果概率是,0.5,或,50%,，则相应为,0.5/,（,1-0.5,）,=1/1,，或,1:1,。我们可以给,logit,模型中斜率系数一个特别的解释：某个解释变量的变动对,Y,等于,1,的机会的影响。准确地说，,logit,模型的斜率系数告诉我们，在其它解释变量保持不变的情况下，该解释变量变动一个单位所引起的机会的对数的变动。,与,probit,模型一样，,logit,模型也不能用,OLS,法估计，而要用极大似然法估计采用表,15-1,中的同样数据估计,logit,模型，回归结果如表,15-5,所示。,表,10-5,两候选人选举模型的,Logit,回归结果,Dependent variable,：,CAND1,Variable,Coefficient,Standard error,t-Statistic,p-Value,Constant,-8.96,3.23,-2.77,0.01,INCOME,0.12,0.06,1.98,0.05,AGE,0.13,0.06,2.03,0.04,MALE,-1.03,1.54,-0.67,0.51,Observations,：,30,McFadden pseudo-R,2,=0.60,Residual Sum of Squares=2.59,McFadden pseudo-R,2,和统计显著性与,probit,模型的结果类似。,INCOME,和,AGE,的系数估计值亦在,5%,误差水平上显著。而,MALE,则在两种模型回归中均不显著。而斜率系数估计值则不同，这是因为它们的意义不一样。例如，,AGE,的系数估计值,0.13,意味着收入和性别不变的情况下，年龄增大一岁，选举候选人甲的机会的对数增加,0.13,。实际上，除了斜率系数的解释不同，使用,probit,模型和,logit,模型并没有多大区别。,第三节 多项选择模型,我们可能遇到多于两个可能的选择的情况，如在选举模型例子中，有可能不止两个候选人，我们前面讨论的估计方法无法处理多于两项选择的情况。如果第三个候选人丙加进来了，我们就必须调整以前的估计方法，来考虑加上第三项选择的情况。,其中，,两式的系数下标不一样，说明两方程的系数可以取不同的值。我们用,OLS,法估计这两个方程，存在的问题与两个选择的情况一样。,一,.,线性概率模型,线性概率模型经过修改，可用于多于两项选择的非定序的情况。要将第三个候选人加到我们的选举模型，我们需要用两个方程（一般而言，方程的数目是选择数目减,1,）。,对于任何一个观测值，估计出的概率之和必须等于,1,。第,i,个选民选甲的概率的估计值由（,15.17,）式中因变量,CAND1,的拟合值给出，比如说,0.5,，与此类似，该选民选丙的概率的估计值由（,15.18,）式中因变量,CAND3,的拟合值给出，如,0.3,，则我们知道，该选民选乙的概率估计值为,0.2,，这三个估计的概率之和必须等于,1,。,因此，我们无需为候选人乙回归第三个方程。事实上，三个候选人截距的估计值之和等于,1,，各斜率的估计值之和为,0,，因此我们估计两个方程后，第三个方程的斜率就可以算出来了。,对线性概率模型进行的这种修改只适用于各个方程中的解释变量都相同的情况。否则，就必须用较复杂的,GLS,法。,表,15-1,中没有包括支持第三个候选人丙的选民的有关数据，表,15,6,列出了这些数据。这最后,10,个观测值都支持候选人丙并非巧合，它们未必是原样本中最后,10,个观测值，只不过是表,15-1,中省略了所有支持丙的观测值。将这些数据加到表,15-1,的数据中，我们就得到一个包含三种选择的数据集，观测值数目为,40,。,要注意的是，在将表,15,6,的数据加到原来的,30,个观测值中的同时，,CAND3,变量（代表候选人丙）也应该加到原来的,30,个观测值中，,CAND3,在前,30,个观测值中取值为,0,。用这个新的数据集估计（,15.17,）、（,15.18,）式，估计结果如表,15-7,和表,15-8,所示。,表,15-6,选举模型增补观测值：支持候选人丙的个体观测值,观测序号,CAND1,INCOME,AGE,MALE,CAND3,31,0,22,19,1,1,32,0,24,20,1,1,33,0,30,22,1,1,34,0,21,24,1,1,35,0,26,21,1,1,36,0,30,34,0,1,37,0,29,24,1,1,38,0,33,25,1,1,39,0,28,27,1,1,40,0,32,30,1,1,表,15-7,三候选人选举线性概率模型回归结果,Dependent variable,：,CAND1,Variable,Coefficient,Standard error,t-Statistic,p-Value,Constant,-0.58,0.16,-3.71,0.00,INCOME,0.010,0.0027,3.74,0.00,AGE,0.017,0.0043,4.05,0.00,MALE,-0.035,0.099,-0.35,0.73,Observations,：,40,=0.62,Adjusted =0.59,Residual Sum of Squares=3.41,F-statistic=19.99,表,15-8,三候选人选举线性概率模型回归结果,Dependent variable,：,CAND3,Variable,Coefficient,Standard error,t-Statistic,p-Value,Constant,0.48,0.19,2.50,0.02,INCOME,-0.00085,0.0033,-0.26,0.80,AGE,-0.011,0.0053,-2.06,0.05,MALE,0.33,0.12,2.69,0.01,Observations,：,40,=0.30,Adjusted =0.25,Residual Sum of Squares=5.19,F-statistic=5.35,表,15-7,表明候选人甲作为因变量的方程的结果与二元选择线性概率模型的结果相似（与表,15-2,比较），对斜率系数的说明也可沿用二元选择模型同样的方式。例如，,AGE,的斜率系数,0.017,意味着，,INCOME,和,MALE,保持不变的情况下，选民的年龄大一岁，选甲的概率上升,0.017,。,表,15-8,中候选人丙的结果则与甲的结果大不相同。,INCOME,的斜率估计值在甲的方程中显著，但在丙的方程中则不显著。高收入者倾向于选甲，低收入者倾向于选丙或选乙，但收入似乎不怎么影响对丙的选择。,AGE,的斜率估计值在,5%,误差水平显著，其值为负，说明年轻选民倾向于选丙，与候选人甲的情况刚好相反，甲的方程表明，年龄较大的选民倾向于选甲。具有同样年龄和收入的男选民选丙的估计概率比女选民高,0.33,，这是一个很大的差距。在三个候选人中，妇女最不接受的人是丙。,二,.,多项,logit,模型方法,多项,Logit,模型（,Mutinomial logit,）用于估计多于两项选择的定性选择模型（这些选择没有先后次序），该方法避免了线性概率模型出现的问题。与线性概率模型一样，所需要的方程的个数是选择的数目减,1,，其中一个选择被用作基准选择，该选择没有自己的方程。将多项,logit,模型应用于三候选人的选举模型，我们用候选人乙作为基准选择，给出下面两个方程：,其中,多项,logit,模型中的方程必须用极大似然法联立地估计。大多数计量经济软件的学生版甚至全版不支持这类估计。,采用多项,logit,模型估计出的斜率系数的解释与二元,logit,模型不一样。在这里，每个斜率的解释是相对于基准选择的。假设的估计值为,0.02,，每增加一岁，其它条件不变，选择候选人甲的概率的对数与选乙的概率的对数相比，上升,0.02,。更严格点说，,AGE,增长,1,岁，选甲的概率的对数和选乙的概率的对数之差增加,0.02,。其它斜率系数的解释与此类似。,小 结,本章讨论了因变量为定性变量的回归模型。在这类模型中，因变量描述的是特征、选择或者种类等不能定量化的东西，我们可以用定义虚拟变量的方法来刻画它们。这种因变量为虚拟变量的模型被称为,定性选择模型。,如果模型的目的是预测两种可能性中哪种将被选择，这样的模型称为,二元选择模型,。有三种主要的的估计二元选择模型的方法。,在,线性概率模型,中，因变量只取,0,和,1,两个值，此模型用,OLS,法估计。斜率系数表示其他解释变量不变的情况下，相应的解释变量的单位变动引起的因变量等于,1,的概率的变动。线性概率模型的主要问题是：,1,拟合值可能小于,0,或大于,1,，而概率值不可能大于,1,，也不可能小于,0,；,2,异方差性；,3,不再是合适的拟合优度测度。,Probit,模型,和,Logit,模型,都可以解决很多线性概率模型中遇到的问题。,Probit,模型所依据的是累积正态概率分布，不会给出小于,0,或大于,1,的拟合值。,Probit,模型使用极大似然法估计。,Logit,模型,基于累积,logistic,分布，,Logit,模型与,probit,一样，给出的概率估计值也限制在,0,和,1,之间。对于任何一个回归，,probit,和,logit,估计方法的结果往往从统计显著性的角度看是类似的。,logit,模型的斜率系数表示在其它解释变量保持不变的情况下，相应的解释变量变动一个单位所引起的机会的对数的变动。,Logit,模型也使用极大似然法估计。,多于两个选择的情况，就需要使用,多项选择模型,。线性概率模型可用于多于两个选择的情况，方法是使用不同因变量的多个方程，所需方程的数目是选择的数目减,1,。,