常用多变量统计分析方法简介.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,常用多变量统计分析方法简介,1,多变量统计方法是运用数理统计的方法来研究多变量问题的理论和方法,它是单变量统计统计方法的推广，是研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学分支学科。,近年来，多变量统计方法已广泛应用到医学研究的各个领域。医学现象涉及到的变量不止一个,而是多个变量,且这些变量间又存在一定的联系,需要处理多个变量的观测数据。,多变量统计分析方法概述,2,对于多变量医学问题，,如果用单变量统计方法就要对多方面分别进行分析,而一次分析一个方面,同时忽视了各方面之间存在的相关性,这样会丢失很多信息,分析的结果不能客观全面地反映情况。,多变量统计方法不仅能够研究多个变量之间的相互关系以及揭示这些变量之间内在的变化规律，而且能够使复杂的指标简单化,并对研究对象进行分类和简化。,多变量统计分析方法概述,3,回归分析的分类,多个因变量,(,y,1,y,2,y,k,),路径分析,结构方程模型分析,一个因变量,y,连续型因变量,(y)-,线性回归分析,分类型因变量,(y)-Logistic,回归分析,时间序列因变量,(t)-,时间序列分析,生存时间因变量,(t)-,生存风险回归分析,4,一、多重线性回归,二、,Logistic,回归,三、,Cox,比例风险回归,四、其他常用多变量统计方法,多变量统计分析方法概述,5,Multivariate linear regression,概念：,多重线性回归分析,也称,复线性回归分析,（,multiple linear regression analysis,）,它研究一组自变量如何直接影响一个因变量。,自变量（,independent variable,）,是指独立自由的变量，用向量,X,表示；,因变量（,dependent variable),是指非独立的、受其它变量影响的变量，用向量,Y,表示；由于模型仅涉及一个因变量，所以多元线性回归分析也称单变量线性回归分析（,univariate,linear regression analysis,）,6,人的,体重,与,身高、胸围,血压值,与,年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史,糖尿病人的,血糖,与,胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂,射频治疗仪定向治疗脑肿瘤过程中，脑皮质的,毁损半径,与,辐射的温度、照射的时间,一个变量的变化直接与另一组变量的变化有关：,如：,7,假定因变量,Y,与,自变量 间存在如下关系：,式中，是常数项，称为,偏回归系数（,partial regression coefficient,）,。的含义为在其它自变量保持不变的条件下，自变量 改变一个单位时因变量,Y,的平均改变量。为随机误差，又称残差（,residual,），它表示 的变化中不能由自变量 解释的部分。,一、多元线性回归方程模型,8,只有一个自变量时,回归的结果为二维平面上的一条直线,;,而有两个自变量时,回归的结果为三维空间的一个平面；有更多自变量时,回归的结果则是在三维以上空间的“超平面”，无法用直观图形表达。,9,应用条件：,注意：,虽然模型要求因变量是连续数值变量，但对自变量的类型不限。若自变量是分类变量，特别是无序分类变量，要转化为亚变量才能分析。对于自变量是分类变量的情形，可以应用,广义线性回归模型分析。,10,二、多元线性回归分析的步骤,（一）,估计各项参数，建立多元线性回归方程模型,（二）对整个模型,进行假设检验，模型有意义的前提下，再分别对各偏回归系数进行假设检验。,（三）计算相应指标，对模型的拟合效果进行评价。,11,（一）模型的参数估计,12,27,名糖尿病患者的血清总胆固醇（,x,1,）、甘油三酯（,x,2,）、空腹胰岛素（,x,3,）、糖化血红蛋白（,x,4,）、空腹血糖（,y,）的测量值列于表中，试建立血糖与其它几项指标关系的多元线性回归方程。,例,16.1,13,各变量的离均差矩阵,14,线性回归方程模型为：,15,1,、对模型的假设检验,F,检验,2,、对偏回归系数的假设检验,F,检验,和,t,检验,3,、标准化偏回归系数,（二）对模型及偏回归系数的假设检验,16,1,、对模型的假设检验,F,检验,17,SS,回归,=,b,1,l,1y,+,b,2,l,2y,+,b,3,l,3y,+,b,4,l,4y,=0.142467.6962+0.351589.8025+0.2706142.4347+0.638284.5570=133.7107,；,回归,=,m,=4,各变量的离均差矩阵,18,SS,总,=,l,yy,=222.5519,；,总,=,n,-1=26,SS,剩余,=,SS,总,-,SS,回归,=222.5519-133.7107=88.8412,剩余,=,n,-,m,-1=22,MS,回归,=,SS,回归,/,回归；,MS,剩余,=,SS,剩余,/,剩余；,F,=,MS,回归,/,MS,剩余,1,、对模型的假设检验,F,检验,19,1,、对模型的假设检验,F,检验,20,2,、对偏回归系数的假设检验,F,检验,和,t,检验,回归方程成立只能认为总的来说自变量与因变量间存在线性关系，但是否每一个自变量都与因变量间存在线性关系，须对其偏回归系数进行假设检验。,方差分析法,t,检验法,21,偏回归系数的假设检验,-,方差分析法,22,偏回归系数的假设检验,-,方差分析法,23,偏回归系数的假设检验,t,检验,系数矩阵,A,24,指定,REG,过程进行多元线性回归分析，拟合,y,与四个自变量间的多元线性回归方程,25,整个方程有统计学意义,各自变量的参数估计,对偏回归系数的假设检验,26,注意,27,变量,回归系数,b,j,标准化偏回归系数,b,j,X1,0.14245,0.07758,X2,0.35147,0.30931,X3,-0.27059,-0.33948,X4,0.6382,0.39774,3,、标准化偏回归系数,28,偏回归系数,偏回归系数标准误,标准偏回归系数,29,（三）计算相应指标，对模型的拟合效果进行评价,评价回归方程回归效果的优劣是回归分析的重要内容之一。,常用评价指标有：,决定系数、,校正决定系数、,剩余标准差等。,30,1.,决定系数,31,2,、剩余标准差,32,33,3,、校正决定系数,34,三、逐步回归分析,35,（一）最优子集回归法,求出所有自变量可能组合子集的回归方程的模型（共有,2,m,1,个），按一定准则选择最优模型。,最优子集法的局限性：,如果自变量个数为,4,，则所有的回归有,24,1,15,个；当自变量数个数为,10,时，所有可能的回归为,210,1,1023,个；,.,；当自变量数个数为,50,时，所有可能的回归为,250,11015,个。,36,（二）逐步选择法,1.,前进法（,forward selection,）,2.,后退法（,backward elimination,）,3.,逐步回归法（,stepwise regression,）。,它们的共同特点是,每一步只引入或剔除一个自变量,。决定其取舍则基于对偏回归平方和的,F,检验,37,（,1,）前进法,自变量从无到有、从少到多,Y,对每一个自变量作直线回归，对,回归平方和,最大的自变量作,F,检验，有意义（,P,小）则引入。,在此基础上，计算其它自变量的,偏回归平方和,，选取,偏回归平方和最大者,作,F,检验，,。,局限性：后续变量的引入可能会使先进入方程的自变量变得不重要。,38,（,2,）后退法,先将全部自变量放入方程，然后逐步剔除,偏回归平方和,最小,的变量，作,F,检验及相应的,P,值，决定它是否剔除（,P,大）。,建立新的回归方程。重复上述过程。,局限性：,自变量高度相关时，可能得不出正确的结果；开始时剔,除的变量即使后来变得有显著性也不能再进入方程,。,39,（,3,）逐步回归法,双向筛选：,引入,有意义的变量（前进法），,剔除,无意义变量（后退法）,小样本检验水准,a,一般定为,0.10,或,0.15,，大样本把,a,值定为,0.05,。,a,值越小表示选取自变量的标准越严。,40,逐步回归分析的基本思想,41,用逐步回归法筛选自变量,进入方程的自变量,剔出方程的自变量,每一步时模型的决定系数,R,2,C(p,),统计量,42,标准化偏回归系数,y,=0.35409,x,2,-0.36013,x,3,+0.41334,x,4,43,变量筛选后去掉截距项后方程各项评价指标的变化,44,第三节 多元线性回归的应用及其注意事项,45,二、多元线性回归应用时的注意事项,1,样本含量,2,方程,“,最优,”,问题,3,关于逐步回归,4,多元共线性,5.,异常值识别与强影响分析,46,47,进行变量筛选的结果及方程的残差,48,对于最优子集回归，可以用,SAS,中的最大,R,2,筛选变量的方法进行,最大,R,2,法筛选变量,分别输出,AIC,值、,CP,值、剩余标准差和校正决定系数。,49,对于最优子集回归，可以用,SAS,中的最大,R,2,筛选变量的方法进行,最大,R,2,法筛选变量,分别输出,AIC,值、,CP,值、剩余标准差和校正决定系数。,50,51,4,残差分析,model y=x1-x4/selection=stepwise,r,;,output out=bb,Residual=z,;,run,;,proc,cc,;,set bb;,proc,univariate,normal;,var,z;,run,;,正态性检验,检验方法,-,统计量,-P,值,-,Shapiro-,Wilk,W 0.968787 Pr D 0.1300,Cramer-von,Mises,W-Sq 0.070919 Pr W-Sq 0.2500,Anderson-Darling A-Sq 0.372642 Pr A-Sq 0.2500,从散点图可以看出，各点子分布无明显规律性，可认为近似随机分布，所以拟合的方程可认为是合适的。,52,例题,14.2,非线性的例子,53,直接拟合,x1,和,x2,与,y,的线性模型：,例题,14.2,54,例题,14.2,X1,、,x2,与,y,的图形,55,多元共线性是指在进行多元回归分析时，自变量间存在较强的线性相关关系。共线关系的存在，可使得估计系数方差加大，系数估计不稳，结果分析困难。因此在多元回归分析时，特别是当回归结果难以用专业知识解释时，要进行共线性诊断，找出存在共线性且不重要的那些自变量，剔出方程，另行回归分析。,对于存在共线性的资料，可以利用,共线性诊断,有选择的保留自变量以消除共线性；或者采用,岭回归,、,主成分回归,等回归分析方法以避免共线性指标对结果的影响。,5,多元共线性,56,“多元共线”一词最早由,R.,佛里希于,1934,年提出,其最初的含义是指回归模型中的某些自变量是线性相关的,即对于出现在模型中的自变量有关系,成立,.,其中常数,k,m,(m,=1,2,n),不全为,0.,称为完全多元共线；,现在所说的“多元共线”有更广泛的含义,除包括完全共线性的情况,也包括变量间有某种关系但又不是十分完全的线性关系,.,如下式所示的情况,其中 为随机误差项,.,此时可称为近似多元共线。,57,多元共线性问题产生的根源：,1,、,由变量性质引起,多元统计分析时，作为自变量的某些变量高度相关，比如身高、体重和胸围，变量之间的相关性是由变量自身的性质决定的，此时不论数据以什么形式取得，样本含量是大是小，都会出现自变量的共线性问题。因此，变量间自身的性质是导致多元共线性的重要原因。,58,多元共线性问题产生的根源：,2,、由数据问题引起：样本含量过小、强影响观测值、时序变量,样本含量过小：,假设只有两个自变量,X,1,与,X,2,当,n=2,时,两点总能连成一条直线,即使性质上原本并不存在线性关系的变量,X,1,与,X,2,由于样本含量问题产生了共线性。样本含量较小时，自变量容易呈现线性关系。,如果研究的自变量个数大于,2,设为,X,1,X,2,，,.,，,X,P,，虽然各自变量之间没有线性关系，但如果样本含量,n,小于模型中自变量的个数，就可能导致多元共线性问题。,59,多元共线性问题产生的根源：,2,、由数据问题引起：样本含量过小、强影响观测值、时序变量,强影响观测值,：,其存在会,(1),导致或加剧多重共线性；,(2),掩盖存在着的 多重共线性。,60,多元共线性的表现,在实际应用中主要表现为：,（,1,）模型拟合效果很好，但偏回归系数几乎都无统计学意义；,（,2,）偏回归系数估计值的方差很大；,（,3,）偏回归系数估计值不稳定，随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化；,（,4,）偏回归系数估计值的大小与符号可能与事先期望的不一致或与经验相悖，结果难以解释,出现以上情况，提示存在多元共线性问题，应进行多元共线性诊断。,61,62,63,model x2=x3 x4;,R-Square=0.0492,；,VIF1=1/,（,1-0.0492,）,=1.0517,model x3=x2 x4;,R-Square=0.1099,；,VIF1=1/,（,1-0.1099,）,=1.1235,model x4=x2 x3;,R-Square=0.1514,；,VIF1=1/,（,1-0.1514,）,=1.1783,方差膨胀因子,VIF,proc,reg,;,model y=x2-x4/tol,vif,collin,;,run,;,tol,输出容许度；,vif,输出方差膨胀因子；,collin,输出所有特征值、特征值对应的条件指数及每一个自变量在每一个特征值上的方差比。,64,特征根,条件指数,方差分量,如果某一自变量只是和截距项存在共线性的话，可以认为不存在共线性。,65,66,67,残差,学生化残差,cooks,距离,68,某研究所调查了,13,名儿童的,性别,（,x1,：男,=1,，女,=2,）、,年龄,（,x2,：月）、,身高,（,x3,：厘米）、,体重,（,x4,：公斤）、,胸围,（,x5,：厘米）和,心象面积,（,y,：平方厘米），数据见表。试,5,个影响因素与心象面积间的关系。,相关分析结果,例,16.3,69,回归分析结果,各偏回归系数假设检验结果,70,自变量间的相关性,71,例题,14.5,为了分析和预测人体吸入氧气的效率，收集了,31,名中年男性的健康状况资料。共,7,个指标：吸氧效率（,y),、年龄（,x1,）、体重（,x2),、跑,1.5km,所用时间（,x3,）、休息时心跳次数（,x4),、跑步是心跳次数,(X5),、和最高心率（,x6,）。该问题中,y,是因变量，试用多元回归分析建立预测人体吸氧效率的模型。,72,对上述资料进行逐步回归分析，输出结果为：,这个结论易造成误导，因为在年龄、跑,1.5km,时间和跑步时心率相同的条件下，最高心率越大，吸氧效率越高，这与实际相矛盾。,例题,14.5,73,对上述资料进行逐步回归分析，输出结果为：,X5,和,x6,同时进入模型，模型拟合良好。但,x6,的回归系数为正，与,x6,和,y,的相关系数符号相反。,例题,14.5,74,（,1,）,检验自变量的内相关性,proc,corr,data=a;,var,x1-x6;,run,;,OUTPUT,例题,14.5,75,（,1,）,检验自变量的内相关性,OUTPUT,proc,reg,data=a;,model y=x1-x6/tol,vif,collin,;,run,;,条件数,197.95,，远远大于,10,，数据存在严重共线性。,变量,X5,和,x6,的方差比例（,vp,）很大，接近于,1,，二者具有很强的共线性。,vp,(x6),vp,(x5),因此，决定拟合模型时将变量,x6,排除在外。,例题,14.5,76,（,2,）,用逐步法拟合,y,在,x1x5,上的线性回归模型。,proc,reg,data=a;,model y=x1-x5/selection=stepwise;,title stepwise regression analysis:excluding x6;,run,;,第一步将,x3,加入到模型中。,例题,14.5,77,（,2,）,用逐步法拟合,y,在,x1x5,上的线性回归模型。,第二步将,x1,加入到模型中。,例题,14.5,78,（,2,）,用逐步法拟合,y,在,x1x5,上的线性回归模型。,第三步将,x5,加入到模型中。,逐步回归得到的最后模型拟合数据很好（,p0.05,R,2,=0.8200,),偏回归系数均有统计学意义。,例题,14.5,79,（,2,）,用逐步法拟合,y,在,x1x5,上的线性回归模型。,注意！,逐步回归得到的最后模型拟合数据很好（,p0.05,R,2,=0.8200,),偏回归系数均有统计学意义。,总结：,例题,14.5,80,（,3,）,通过误差诊断判断上述模型是否可靠,所有学生化残差的绝对值小于,2.2,（基本满足要求），而所有,Cooks D,小于,0.5,，所以可认为数据中没有异常值。,proc,reg,data=a;,model y=x1 x3 x5/p r;,output out=b p=p r=r;,plot r.*p.;,run;,proc,univariate,normal data=b;,var,r;run;,例题,14.5,81,（,3,）,通过误差诊断判断上述模型是否可靠,proc,reg,data=a;,model y=x1 x3 x5/p r;,output out=b p=p r=r;,plot r.*p.;,run;,proc,univariate,normal data=b;,var,r;run;,由,r*p,可以看到，残差的方差为常数且相互独立。,例题,14.5,82,（,3,）,通过误差诊断判断上述模型是否可靠,proc,reg,data=a;,model y=x1 x3 x5/p r;,output out=b p=p r=r;,plot r.*p.;,run;,proc,univariate,normal data=b;,var,r;run;,由,univariate,输出可以看到，残差的均值为,0,且服从正态分布。,由上述分析可知，回归模型的残差检验合乎要求，从而可以得到如下专业结论。,例题,14.5,83,（,4,）,专业结论：,吸氧效率（,y),与年龄（,x1,）、跑,1.5km,所用时间（,x3,）及跑步时心跳次数,(X5),的线性回归模型：,Y,=113.005-0.2689x1-2.8233x3-0.1349x5,在,跑,1.5km,所用时间（,x3,）及跑步时心跳次数,(X5),相同的条件下，年龄每增加,1,岁，吸氧效率将减少,0.2689,个单位；,在年龄（,x1,）和跑,1.5km,所用时间（,x3,）相同的条件下，跑步时心跳次数,(X5),每增加一个,单位，吸氧效率将减少,2.8233,个单位；,在年龄（,x1,）和跑步时心跳次数,(X5,）相同的条件下，跑,1.5km,所用时间（,x3,）每增加,1,分钟,，吸氧效率将减少,0.1349,个单位；,体重对,吸氧效率的影响无统计学意义；,跑步时最大心率和跑步时心率很相似，二者具有共线性，在研究吸氧效率时可以不考虑跑步时最大心率这个指标。,例题,14.5,84,85,