第十讲定类或定序因变量回归分析.pptx

第十讲定类或定序因变量回归分析n 在研究态度与偏好等心理现象时也经常在研究态度与偏好等心理现象时也经常按类型进行测量得按类型进行测量得,如如“强烈反对强烈反对”、“反对反对”、“中立中立”、“支持支持”、和、和“强烈支持强烈支持”。n 连续变量转换成类型变量得情形连续变量转换成类型变量得情形,如在分如在分析升学考试得影响因素时析升学考试得影响因素时,将考生分为录取线将考生分为录取线以上和录取线以下。以上和录取线以下。n 从统计理论上看从统计理论上看,最小二乘法关注正态分布最小二乘法关注正态分布,然而社会经济现然而社会经济现象往往有不同于正态分布得其她分布象往往有不同于正态分布得其她分布,例如例如:n(1)二项分布二项分布(binomial distribution)n(2)泊松分布泊松分布(Poisson)二、线性概率模型二、线性概率模型n1、模型建立、模型建立 n 以最小二乘法为基础得线性回归方程就是估测因变量得平均值以最小二乘法为基础得线性回归方程就是估测因变量得平均值,而而二分变量得均值有一个特定得意义二分变量得均值有一个特定得意义,即概率。用普通线性回归方程估即概率。用普通线性回归方程估测概率测概率,就就是所谓得线性概率回归。用公式表示为就就是所谓得线性概率回归。用公式表示为:nP=a+i iXi+n 对二项分布线性概率模型得结果解释对二项分布线性概率模型得结果解释:在其她变量不变得情形下在其她变量不变得情形下,x每增加一个单位每增加一个单位,事件发生概率得期望将变动事件发生概率得期望将变动个单位。个单位。n n 例如例如,林楠和谢文林楠和谢文(1988)曾用线性概率模型曾用线性概率模型估测入党估测入党(政治资本政治资本)得概率得概率,模型为模型为:nP=-0、39+0、01A+0、04E+0、03Un 其中其中:P党员概率党员概率,A年龄年龄,E受教受教育年限育年限,U单位身份单位身份n1)无意义得解释无意义得解释n 从解释力上看从解释力上看,由于概率得值就是有边界得由于概率得值就是有边界得,在在0与与1之间。但林楠方程很有可能要超过该限之间。但林楠方程很有可能要超过该限制制,因变量得估计值可能就是负数因变量得估计值可能就是负数,也可能大于也可能大于1,因此模型得结果就是无意义得。例如因此模型得结果就是无意义得。例如,运用林楠运用林楠方程方程,我们发现如果年龄为我们发现如果年龄为100岁岁,受教育程度超受教育程度超过过10年年,则入党得概率约等于则入党得概率约等于1。n2)非线性关系非线性关系 2、线性概率模型存在得问题、线性概率模型存在得问题 三、简单对数比率回归三、简单对数比率回归 1、模型建立、模型建立n 既然用线性概率回归存在局限性既然用线性概率回归存在局限性,能否用比率能否用比率做因变量呢？比如用男女比率作因变量做因变量呢？比如用男女比率作因变量,用成功与用成功与不成功之比做因变量。用比率做因变量存在得问题不成功之比做因变量。用比率做因变量存在得问题就是就是,比率就是非对称得比率就是非对称得、表1 概率、比率和对数比率概率0、010、100、200、300、400、500、600、700、800、900、99比率0、010、110、250、430、671、001、502、334、009、0099对数比率-4、60-2、20-1、39-0、85-0、410、000、410、851、392、204、609大家应该也有点累了，稍作休息大家有疑问的，可以询问和交流大家有疑问的，可以询问和交流大家有疑问的，可以询问和交流大家有疑问的，可以询问和交流 一个简单得解决办法就就是取对数一个简单得解决办法就就是取对数,结果就就是所谓对数结果就就是所谓对数比率比率(logit)。若用。若用P代表某事件得概率代表某事件得概率,则对数比率函数得定则对数比率函数得定义为义为g(P)=log(P/1-P)以对数比率为因变量对自变量以对数比率为因变量对自变量X1,X2,X3做回归称为对做回归称为对数比率回归数比率回归(logistic regression),其方程式为其方程式为:该模型即为该模型即为logit回归模型。回归模型。logit回归模型就是普回归模型就是普通多元线性回归模型得推广通多元线性回归模型得推广,但她得误差项服从二项分但她得误差项服从二项分布布,因此需要采用极大似然估计方法进行参数估计因此需要采用极大似然估计方法进行参数估计,参数参数 称为称为logit回归系数回归系数,表示当其她自变量取值保持不变表示当其她自变量取值保持不变时时,该自变量取值增加一个单位引起得发生比自然对数该自变量取值增加一个单位引起得发生比自然对数值得变化量。值得变化量。2、发生比发生比n 发生比就是事件得发生频数与不发生频数之间得比发生比就是事件得发生频数与不发生频数之间得比,即即:nOdds=(事件发生频数事件发生频数)/(事件不发生频数事件不发生频数)n n 当比值大于当比值大于1时时,表明事件更有可能发生。比如一个表明事件更有可能发生。比如一个事件发生得概率为事件发生得概率为0、6,事件不发生得概率为事件不发生得概率为0、4,发生发生比等于比等于0、6/0、4=1、5。事件发生得可能性就是不发生。事件发生得可能性就是不发生得得1、5倍。倍。四、四、logistic回归模型得检验与评价回归模型得检验与评价n1、Logistic回归模型估计得假设前提回归模型估计得假设前提 第一、数据来自于随机样本。第一、数据来自于随机样本。n第二、因变量第二、因变量Yi被假设为被假设为K个自变量个自变量Xk(k=1,2,K)得函得函数。数。n第三、正如第三、正如OLS回归回归,logistic回归也对多重共线性有所回归也对多重共线性有所限制限制,自变量之间存在多重共线性会导致标准误得膨胀。自变量之间存在多重共线性会导致标准误得膨胀。n Logistic回归模型还有一些与回归模型还有一些与OLS回归不同得假设前回归不同得假设前提提:第一第一,因变量就是二分变量因变量就是二分变量;第二第二,因变量和各自变量之因变量和各自变量之间得关系就是非线性得。间得关系就是非线性得。2、拟合优度检验、拟合优度检验 如果模型得预测值能够与对应得观测值有较高得一致性如果模型得预测值能够与对应得观测值有较高得一致性,就认为这一模型能够拟合数据。否则需要对模型重新设置。就认为这一模型能够拟合数据。否则需要对模型重新设置。因此因此,模型得拟合优度就是指预测值与观测值得匹配程模型得拟合优度就是指预测值与观测值得匹配程度。检验拟合优度得指标有皮尔逊卡方检验、对数似然比卡度。检验拟合优度得指标有皮尔逊卡方检验、对数似然比卡方检验等。方检验等。1)皮尔逊卡方检验皮尔逊卡方检验 皮尔逊卡方检验主要用于检验残差项得大小。计算公皮尔逊卡方检验主要用于检验残差项得大小。计算公式式:其中其中yi就是观察值就是观察值(0或或1),pi就是估算值得概率就是估算值得概率,i=1,2n,分母就是估算值得标准差分母就是估算值得标准差,自由度为自由度为n-J-1,其中其中J为自变量为自变量数目。数目。2)Hosmer-Lemeshow 拟合优度检验拟合优度检验 该方法通常适用于自变量很多该方法通常适用于自变量很多,或自变量为连续变量得或自变量为连续变量得情形。情形。HL方法根据预测概率得大小将所有观察单位十等分方法根据预测概率得大小将所有观察单位十等分,然后根据每一组中因变量得实际值与理论值计算然后根据每一组中因变量得实际值与理论值计算Peason卡卡方方,其统计量为其统计量为:n其中其中G 代表分组数代表分组数,且且G 10;ng为第为第g组中得观测值数组中得观测值数;yg第第g组事件得观测数量组事件得观测数量;pg为第为第g组得预测事件概率组得预测事件概率;ngpg为为事件得预测值事件得预测值,实际上她等于第实际上她等于第g组得观测概率和。组得观测概率和。n3)对数似然比卡方检验对数似然比卡方检验n 对数似然比就是用较复杂模型与基本模型进行比较。通常将似然对数似然比就是用较复杂模型与基本模型进行比较。通常将似然取对数并乘以取对数并乘以-2,即即-2logL,简称对数似然。简称对数似然。n基本模型以独立模型表示基本模型以独立模型表示:n n用用L0表示独立模型得似然表示独立模型得似然,L1表示非独立模型得似然表示非独立模型得似然,那么对数似然那么对数似然比定义为比定义为:n遵循卡方分布遵循卡方分布,其自由度为非独立模型得自变量数目其自由度为非独立模型得自变量数目,可用于检验复杂可用于检验复杂模型中自变量对似然率得增加就是否显著模型中自变量对似然率得增加就是否显著,越大越好。越大越好。3、logit模型回归系数得假设检验模型回归系数得假设检验n设原假设设原假设H0为为:k k=0,表示自变量对事件发生得可能性无影响表示自变量对事件发生得可能性无影响;如果原假设如果原假设被拒绝被拒绝,说明自变量对事件发生得可能性有影响。说明自变量对事件发生得可能性有影响。nWald检验检验n在在logit模型中模型中,对回归系数进行显著性检验对回归系数进行显著性检验,通常使用通常使用Wald检验检验,其计算公其计算公式为式为:n n Wald 统计量实际上就就是正态分布统计量实际上就就是正态分布Z 统计量得平方。在零假设条统计量得平方。在零假设条件下件下,每一个回归系数都等于每一个回归系数都等于0。Wald统计量服从卡方分布统计量服从卡方分布,其自由其自由度为度为n-k-1。五、模型解释五、模型解释n 由于由于logit模型就是非线性得模型就是非线性得,因此不能以传统回归模型中自变因此不能以传统回归模型中自变量与因变量之间得关系解释之。通常以发生比率来解释量与因变量之间得关系解释之。通常以发生比率来解释logit回归回归系数。系数。n 六、多项对数比率回归六、多项对数比率回归n 我们研究得现象常就是多分类得我们研究得现象常就是多分类得,如职业得选择等如职业得选择等,这时需要用多项对数比率回归处理。这时需要用多项对数比率回归处理。n 多项对数比率回归就是简单对数比率回归得扩展多项对数比率回归就是简单对数比率回归得扩展,由由一组对数比率方程组成。一组对数比率方程组成。n 常用得做法就是基准类比法常用得做法就是基准类比法,即先选出基准类即先选出基准类,然后将然后将她得概率与其她各类得概率进行对比。她得概率与其她各类得概率进行对比。n 假如要研究一个或一组自变量假如要研究一个或一组自变量X如何影响人们对如何影响人们对J类类职业选择职业选择,用用P1,P2Pj表示各类职业得概率表示各类职业得概率,那么多项那么多项对数比率回归就可表示为对数比率回归就可表示为:需要注意得就是:1)就系数解释和检验而言,多项对数比率回归和简单对数比率回归相同。2)方程组在统计上不独立,必须同时估算,不可一一求解。nSPSS上得应用上得应用:n1)AnalyzeRegressionMultinomial Logistic n2)Dependent用于选入无序多分类得因变量n3)Factor 用于选入分类自变量,可以就是有序或无序多分类,系统会自动生成虚拟变量。n4)Covariates用于选入连续型得自变量。n选择系统默认值,点击OK钮,运行所选命令n5)结果解释n 数据汇总与模型得似然比检验。n 拟合优度检验(Pearson,Deviance检验)。n 参数估计结果。七、定序变量对数比率七、定序变量对数比率 当因变量就是定序变量,变量值之间具有高低之分时,在设计logit模型时,就应考虑到其中所包含得信息。通常有三种处理方法:邻类比、升级比和累进比。n1、邻类比、邻类比 邻类比就是将所有相邻两类得概率两两相比,如果变量含有J个有序类别,就可得到J-1个不重复对数比率方程。假如用P1,P2Pj表示一个定序变量由低到高各级类别得概率,设X就是一个或一组自变量,那么对数邻类比回归就就是:n 对于定序变量对于定序变量,常常假设升级得作用就是一样得常常假设升级得作用就是一样得,即在方程即在方程组中组中,各个方程得斜率项就是相同得各个方程得斜率项就是相同得,1 1=2 2=j-1 j-1,上式可上式可表示为表示为:2、升级比、升级比n 用用P1,P2,Pj表示一定序变量由低到高各级类别得概率表示一定序变量由低到高各级类别得概率,那么对数升级比回归就就是那么对数升级比回归就就是:n 例如升学率得研究。将学校依等级高低分为小学、初中、高中和例如升学率得研究。将学校依等级高低分为小学、初中、高中和大学四类。初中升高中得比率不仅就是初中毕业生和高中毕业生得比大学四类。初中升高中得比率不仅就是初中毕业生和高中毕业生得比率率,还应包括大学毕业生还应包括大学毕业生,因为她们也完成了初中到高中得升级过程。因为她们也完成了初中到高中得升级过程。n 升级比在统计上就是各自独立得升级比在统计上就是各自独立得,因而可以对照简单对数比率回因而可以对照简单对数比率回归一一估算。加总各独立升级比率回归得对数似然比和自由度归一一估算。加总各独立升级比率回归得对数似然比和自由度,即总即总模型得对数似然比和自由度。模型得对数似然比和自由度。