10.多元线性回归、logistic回归.ppt

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,多因素分析,2,概念,多因素分析是同时对观察对象的两个或两个以上的变量进行分析。,常用的统计分析方法有：,多元线性回归、,Logistic,回归、,COX,比例风险回归模型、因子分析、主成分分析等。,3,多变量资料数据格式,例号,X,1,X,2,X,p,Y,1,X,11,X,12,X,1p,Y,1,2,X,21,X,22,X,2p,Y,2,n,X,n1,X,n2,X,np,Y,n,Y,为定量变量,Linear Regression,Y,为二项分类变量,Binary Logistic Regression,Y,为多项分类变量,Multinomial Logistic Regression,Y,为有序分类变量,Ordinal Logistic Regression,Y,为生存时间与生存结局,Cox Regression,4,（,1,）因素筛选：,例如影响高血压的诸多因素中：,1,）哪些是主要因素？,2,）各因素的作用大小？,（,2,）控制混杂因素,（,3,）提高回归方程的估计精度,多因素分析只有一个自变量的单因素回归更能缩小应变量,Y,对其估计值的离差，在预测和统计控制方面应用的效果更好。,多因素回归分析主要用途：,5,Y,，,X,直线回归,Y,，,X,1,，,X,2,，,X,m,多元回归（多重回归）,一、多元线性回归,(multiple linear regressoin),例：,欲研究血压受年龄、性别、体重、性格、职业（体力劳动或脑力劳动）、饮食、吸烟、血脂水平等因素的影响。,6,0,为回归方程的常数项（,constant),，表示各自变量均为,0,时,y,的平均值；,m,为自变量的个数；,1,、,2,、,m,为偏回归系数（,Partial regression coefficient,）,意义：,如,1,表示在,X,2,、,X,3,X,m,固定条件下，,X,1,每增减一个单位对,Y,的效应（,Y,增减,个单位）。,e,为去除,m,个自变量对,Y,影响后的随机误差，称残差（,residual),。,多元回归方程的一般形式,（一）多元回归模型,7,为,y,的估计值或预测值（,predicted value),；,b,0,为回归方程的常数项（,constant),，表示各自变量均为,0,时,y,的估计值；,由样本估计而得的多元回归方程：,b,1,、,b,2,、,b,m,为偏回归系数（,Partial regression coefficient,）,意义：如,b,1,表示在,X,2,、,X,3,X,m,固定条件下，,X,1,每增减一个单位对,Y,的效应（,Y,增减,b,个单位）。,8,适用条件：,线性（,linear,）、独立性（,independent,）、正态性（,normal,）、方差齐性（,equal variance,）,“LINE”,。,线性,自变量与应变量的关系是线性的。用散点图判断。,独立性,任意两个观察值互相独立。常利用专业知识判断。,正态性,就自变量的任何一个线性组合，应变量,y,均服从正态分布。即要求残差服从正态分布。常用残差图分析。,方差齐性,就自变量的任何一个线性组合，应变量,y,的方差均相同。即要求残差的方差齐性。用散点图或残差图判断。,11,由上表得到如下多元线性回归方程：,1,、建立回归方程,12,2,、回归方程的假设检验,F,检验,结果无显著性,1,）表明所观察的自变量与应变量不存在线性回归关系；,2,）也可能由于样本例数过少；,结果有显著性,表明至少有一个自变量与应变量之间存在线性回归关系。,H,0,：,1,=,2,=,m,=0,H,1,：,1,、,2,、,m,不等于,0,或不全等于,0,13,14,3,、各个偏回归系数的假设检验,t,检验,将,总胆固醇,(X,1,),剔除。,注意：,通常每次只剔除关系最弱的一个因素。,对于同一资料，不同自变量的,t,值可以相互比较，,t,的绝对值越大，或,P,越小，说明该自变量对,Y,所起的作用越大。,15,重新建立不包含提出因素的回归方程,注意：表中偏回归系数已变化。,16,对新建立的回归方程进行检验,检验结果有显著性意义。,17,对新方程的偏回归系数进行检验,检验结果均有意义，因此回归方程保留,甘油三酯,(X,2,),、胰岛素,(X,3,),和糖化血红蛋白,(X,4,),三个,因素。,最后获得回归方程为：,18,1,、确定系数（,R,2,）：,意义：,在,y,的总变异中，由,x,变量组建立的线性回归方程所能解释的比例。,01,，越大越优。,特点：,R,2,是随自变量的增加而增大。,因此，,在相近的情况下，以包含的自变量少者为优。,（三）回归方程的评价,、,R,复相关系数,（,multiple correlation coefficient,）,表示,m,个自变量共同对应变量线性相关的密切程,度。,0R1,。即,Y,与 的相关系数。,19,、校正确定系数（,adjusted R-square,，,R,2,a,）,越大越优。,R,2,a,不会随无意义的自变量增加而增大。,是衡量方程优劣的常用指标。,校正确定系数的计算：,p,为方程中包含的自变量个数，,p m,。,R,2,一定时，,p,R,2,a,20,21,（四）自变量的筛选,基本思路：,尽可能将回归效果显著的自变量选入方程中，作用不显著的自变量排除在外。,（,1,）全局择优法（,all possible subsets selection,）：,（,2,）逐步选择法,前进法,（,Forward selection,）,后退法,（,Backward elimination,）,逐步法,（,Stepwise,）,22,1,、全局择优法（最优子集回归）,（,all possible subsets selection,）：,有,m,个自变量就有,2,m,-1,个自变量子集。在各子集中选择最优的回归方程。,仅适用于自变量个数不太多的情况。,23,2,、向前筛选法,（,Forward selection,）：,事先给定一个入选标准，即,（通常,=0.05,）,，然后根据各因素偏回归平方和从大到小，依次逐个引入回归方程至无显著性自变量可以入选为止，因素一旦入选便始终保留在方程中而不被剔除。,局限性：后续变量的引入可能会使先进入方程的变量变得不重要。,24,3,、向后剔除法,（,Backward elimination,）,首先建立全部自变量的全回归方程，给定剔除标准，根据各因素偏回归平方和从小到大，依次逐个将无显著性的自变量从回归方程中剔除。,优点：考虑到了自变量的组合作用，选中的自变量数目一般会比前进法选中的多。,缺点：当自变量数目较多或有某些自变量高度相关时，可能得不出正确的结果。,25,4,、逐步法,（,Stepwise,）：,给出入选标准（通常,1,=0.05,）和剔除标准（通常,2,=0.10,），每次选入一个在方程外且最具统计学意义的自变量后，就对原在方程中的自变量做剔除检验，这个过程逐步进行，直到没有有统计意义的自变量可以入选，也没有无统计学意义的自变量保留在方程中为止。,实际工作中，多采用逐步法。,用上述方法对上例资料进行分析。,26,（六）应用多元线性回归分析时需注意的事项,（,1,）样本量要求：,无精确的计算公式。据经验，样本量应是自变量数的,510,倍以上。,（,2,）做预报时，只能在自变量,X,的观察值范围内进行；,（,3,）在资料要求上，应变量,Y,服从正态分布；,（,4,）注意资料的特异点（,outlier,）；,27,（,5,）观测值重新量化问题,二项分类资料：用,X,表示分类变量，阴性为,0,，阳性为,1,。,有序多项分类资料：用一个,X,作为分类变量，以自然数,0,，,1,，,2,，,赋值。如将病情分为轻中重三类时，用,X,表示病情，赋值方法为：,无序多项分类资料：,或,28,上述以职员作为对比水平,(,基础水平,),。哑变量,X,1,、,X,2,、,X,3,分别代表了工人、农民、干部与职员相比的系数。,哑变量代表的是同一个变量的不同取值，在分析时应当同时进入或移出方程。即使只有部分哑变量有统计学意义也是如此。,29,（,7,）自变量的联合作用分析,若要考虑,X,3,、,X,4,对应变量,y,的联合作用，可设置一个新变量,X,5,=X,3,X,4,。若,b,3,、,b,4,和,b,5,都有统计学意义，则说明,X,3,、,X,4,对应变量既有单独作用，又有交互作用。,（,6,）自变量筛选过程中引入和剔除变量时检验水准的确定,1,）引入变量检验的水准,小于,或,等于,剔除变量时检验的水准,2,）通常引入变量检验的水准为,0.05,，剔除变量时,0.10,，但不绝对。,30,说明,X,3,、,X,4,对应变量既有单独作用，又有交互作用。即说明糖尿病人体内胰岛素对血糖的影响依赖于糖化血红蛋白的含量。,31,（,8,）自变量的共线性,当自变量之间存在较强的相关关系时，称之为共线性。,后果,偏回归系数的估计值容易失真。,当多元回归的分析结果出现以下情况时可考虑是否存在自变量共线性：,1,）在某个检验水准下，整个回归方程有统计学意义，但是每个偏回归系数的检验均无统计学意义。,2,）偏回归系数的符号与医学专业知识不一致。,3,）参数估计的标准误变得很大，使,t,值变得很小，,P,值很大。,32,判断方法：,利用自变量间的相关系数阵。,（,r,0.9,，共线性可能性大）,处理方法：,最简单、有效的方法是根据专业知识人为去除在专业上比较次要的、或缺失值较多、测量误差较大的共线性因子。,33,（,9,）残差分析,模型诊断,通常以标准化残差（,standardized residual),为纵坐标，以 为横坐标，作残差图。,34,简单分析实例,例,1,为研究男性高血压患者血压与年龄、身高、体重等变量的关系，随机测量了,32,名,40,岁以上男性的血压,y,、年龄,x,1,、体重指数,x,2,试建立多重线性回归方程。数据文件见,mreg2.sav,。,简单分析实例初步分析,初步分析：,与简单线性回归相类似，先绘制散点图，以便在进行回归分析之前了解各变量之间是否存在线性关系。本例有两个自变量与一个反应变量，绘制散点图矩阵，如下。,绘制散点图矩阵,简单分析实例初步分析,简单分析实例,简单分析实例,简单分析实例,结果分析,给出了自变量进入模型的方式，此处尚未涉及变量筛选问题，因为两个变量是被强行纳入模型的（,Method,为,Enter,），当然就不存在剔除变量的事情了。,简单分析实例,结果分析,模型拟合优度情况的检验，结果显示，复相关系数为,0.840,，决定系数为,0.706,，调整的决定系数为,0.686,，还输出了剩余标准差。,简单分析实例,结果分析,回归模型的假设检验结果，显示,F,34.808,，,P,0.001,，说明所建立的回归模型是有统计学意义的，至少有一个自变量的回归系数不为,0,。,简单分析实例,结果分析,给出了模型的常数项以及两个自变量的偏回归系数及其检验结果，可以写出回归方程如下：,Y,54.798+1.379x,1,+4.513x,2,主要结果,SPSS,结果中输出偏回归系数的同时，也输出了各自的标准偏回归系数。年龄的标准化偏回归系数为,0.664,，体重指数的标准化偏回归系数为,0.247,，因此，可以认为，年龄对血压的影响比体重指数对血压的影响大。,简单分析实例,结果分析,例,2,仍以例,1,的资料为例，试作逐步回归分析。数据文件见,mreg2.sav,。,逐步回归,逐步回归,逐步回归,逐步回归,输出,SPSS,在逐步回归过程中拟合的步骤中，每一步引入模型的变量情况,此处只有一个变量引入。,结果分析,逐步回归,结果分析,分别输出拟合的模型中，拟合优度情况的检验结果：复相关系数、决定系数、调整的决定系数以及剩余标准差。本例只有一步，故结果很简单，仅拟合一个模型。,逐步回归,结果分析,给出各个拟合模型的常数项以及各自变量的偏回归系数、,95,可信区间及其检验结果（此处为仅有一步的结果）。,逐步回归,结果分析,给出拟合模型过程中被剔除的变量情况及其检验结果（此处为仅有一步）。,残差分析,非标准化残差（原始残差）,标准化残差（,Pearson,残差）,学生化残差,剔除残差,学生化剔除残差,残差种类,残差分析,模型适用条件的检验,因变量与自变量之间存在线性关系的检验（以例,1,为例：年龄）,残差分析,模型适用条件的检验,因变量与自变量之间存在线性关系的检验（以例,1,为例：体重指数）,残差分析,模型适用条件的检验,独立性的检验,通过,Linear Regression,过程的,statistics,按钮中的,Durbin-Watson,检验进行判断。若自变量数少于,4,个，统计量接近,2,，基本上可以肯定残差间相互独立。仍以例,1,为例，结果如下。,残差分析,模型适用条件的检验,方差齐性的检验,残差分析,模型适用条件的检验,正态性的检验,绘制残差的直方图及,PP,图的复选框,残差分析,模型适用条件的检验,正态性的检验结果,59,二、,Logistic,回归,一、概念,Logistic,回归是一种适用于应变量为分类值多因素概率型曲线模型。,Y,为二项分类：,非条件,Logistic,回归,成组设计,条件,Logistic,回归,配对设计,Y,为多分类：多分类,Logistic,回归,60,Binary Logistic,适用于应变量为二项分类的资料。,应变量（,Y,）在一组自变量（,X,）的作用下所发生的结果赋值规则为：,logistic,回归模型：,统计学中，把,ln,（,P/Q,）称为,P,的,Logit,转换或对数转换，即,Logit P,。由此得到的回归方程，称为,Logistic,回归方程。,出现阳性的结果,1,，其概率用,P,来表示；,出现阴性的结果,0,，其概率用,Q,或（,1 P,）来表示。,61,由上式可得,:,由样本估计而得的,logistic,回归模型：,62,将,P/Q,称为比数（,odds,，优势、比值）；两个比数之比称为,比数比,OR,（,odds ratio,，优势比、比值比）。,第,i,个观察对象的发病概率比数（,odds),为,P,i,/Q,i,，则：,第,l,个观察对象的发病概率比数为,P,l,/Q,l,，则：,63,则：,式中：,同一因素,x,j,的不同暴露水平之差。,b,j,在其它自变量固定不变的情况下，,x,j,的水 平每增加一个单位时，,ln(OR),的改变量，即所引起的比数比为增加前的,e,bj,倍,若,X,j,赋值为：,64,b,j,=0,时，,OR,j,=1,，说明因素,x,j,对疾病不起作用；,b,j,0,时，,OR,j,1,，说明,x,j,是一个危险因素；,b,j,0,时，,OR,j,1,，说明,x,j,是一个保护因素。,对于发病率很低的慢性病（如心脑血管疾病、恶性肿瘤等），由于,P1,，,OR,可作为,RR,的近似估计：,所以，,logistic,回归常用于流行病学调查资料，其优点是得到某一因素的回归系数估计值后，就可得到不同水平下相对危险度的近似估计值。,65,模型的应用,主要有三个方面：,筛选危险因素,：,求出各协变量对应变量的比数比（,OR,）；,校正混杂因素,：,可以很方便地控制混杂因素，得到校正后比数比的估计值和置信区间；,预测与判断,：,Logistic,回归模型是概率型模型，在一定条件下能预测某事件发生的概率，或估计各种自变量组合条件下应变量的某一类结果是否发生。,例,1,某医师希望研究病人的年龄,age,、性别,sex,（,0,为女性、,1,为男性）、心电图检验是否异常,ecg,（,ST,段压低、,0,为正常、,1,为轻度异常、,2,为重度异常）与冠心病,ca,是否有关，数据见,logistic_binary.sav,。,简单分析实例,简单分析实例,选入应变量,选入自变量,简单分析实例,简单分析实例,结果分析,此表为应变量取值水平编码，,SPSS,默认取值水平高的为阳性结果。,简单分析实例,结果分析,本表输出当前模型的,-2log,（似然值）和两个伪决定系数，但对于,logistic,回归而言，通常看见的伪决定系数不像线性回归模型中的决定系数那么大。,简单分析实例,结果分析,此表输出模型中的各自变量的偏回归系数及其标准误、,Wald,2,、自由度、,P,值、,OR,值（即,exp,（,B,）。,哑变量设置,在回归模型中，回归系数,b,表示其他自变量不变，,x,每改变一个单位时，所预测的,y,的平均变化量，当,x,为连续性变量时，这样解释没有问题，二分类变量由于只存在两个类别间的比较，也可以对系数得到很好的解释。但是当,x,为多分类变量时，仅拟合一个回归系数就不太合适了，此时需要使用,哑变量,（,dummy variable,）方式对模型进行定义。,例,2 Hosmer,和,Lemeshow,于,1989,年研究了低出生体重婴儿的影响因素，结果变量为是否娩出低出生体重儿（变量名为,LOW,，,1,表示低出生体重儿，,0,表示非低出生体重儿），考虑的自变量有产妇妊娠前体重、产妇年龄、种族、是否吸烟、早产次数、是否患高血压等。（数据文件见：,logistic_step.sav,。）,哑变量设置,哑变量设置,哑变量设置,选入无序多分类变量,设置参照水平,哑变量设置,哑变量设置,结果分析,哑变量（种族）的设置情况,哑变量设置,白人低出生体重的风险较低，而黑人风险较高。,结果分析,参照水平最好要有实际意义，不推荐使用其他作为参照；,参照水平组要有一定的频数作保证，应不少于,30,或,50,例；,对有序自变量的分析：,从专业出发确定；,分别以哑变量和连续性变量的方式引入模型进行比较后确定。,哑变量设置,哑变量设置应该注意的问题,Forward,：,Conditional,（最可靠）,Forward,：,LR,Forward,：,Wald,（应当慎用）,Backward,：,Conditional,（最可靠）,Backward,：,LR,Backward,：,Wald,（应当慎用）,6,种筛选自变量的方法,逐步回归,例,3,仍以例,2,的数据为例，演示如何在,SPSS,中实现逐步,logistic,回归分析。,逐步回归,选择其中一种逐步法,逐步回归,逐步回归,给出了模型拟合过程中每一步的,-2log,（,L,）及两个伪决定系数。,结果分析,逐步回归,结果分析,逐步回归,结果分析,输出了尚不在模型中的自变量是否能被引入的,Score,检验结果，这里只给出第一步的结果。,86,87,欲研究新生儿脐带血铅浓度受环境因素影响的情况，某研究所测定了,235,名新生儿血铅浓度，并对产妇进行问卷调查，调查表包括了,21,种可能影响脐带血铅浓度的环境因素如职业、吸烟、上下班途中时间、住家是否临近马路、居室装潢情况、是否用煤做燃料、饮食等。,(1),欲筛选哪些环境因素是影响新生儿脐带血铅浓度的主要因素，宜选择何种方法进行统计分析？,(2),若产妇职业、吸烟情况、上下班途中时间及饮食是主要影响因素，现欲比较上述因素对血铅浓度的相对影响强度，应计算何种指标？,讨 论 题,88,THE END,谢谢！,