多元线性回归和多元逐步回归教育课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多元线性回归和多元逐步回归PPT讲座,第一节 多元线性回归第二节多元逐步回归第三节 多元线性回归的注意事项,第一节 多元线性回归,（,multiple linear regression,）,多元线性回归的数据格式,一、多元线性回归方程,(multiple linear regression equation),常数项，表示当所有自变量为0时,应变量Y的总体平均值的估计值,表示除以外的其它自变量固定不变,的情况下，每改变一个测量单位时,所引起的应变量,Y,的平均改变量,b,j,为偏回归系数（partial regression coefficient,),两个自变量与应变量的散点图,两个自变量与应变量的拟合面,b,j,为,x,j,方向的斜率,1.,求偏回归系数,b,j,及,b,0,根据最小二乘法,(method of least square),原理求出,b,j,即,得到,b,j,2.,例 子,例,11.1 20,名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，试建立血糖对于胰岛素及生长素的二元线性回归方程,。,对于本例有,:,采用最小二乘法即可求出常数项,b,0,和偏回归系数,b,1,、,b,2,。其中,对表,11-2,的数据资料由,SAS,统计软件可得到如下表,11-3,的主要结果。,由此得到回归方程为,二、回归方程的假设检验,1.,模型检验,其中：,自由度为,总,n,1，,回归,k,，,剩余,n,k,1,X,2,X,1,Y,Model SS,Total SS,Residual SS,由表11-4可知，,F,21.54，,P,0.05。从而，拒绝,H,0，可以认为,和,不全为0，即所求回归方程有统计学意义。,对于例11.1的模型检验,H,0,：,H,1,：,和,不全为0,0.05,对表11-3的数据资料，由SAS统计软件可得到如下表11-4的模型检验结果。,偏回归系数的检验,（,1,）,F,检验,j,=1,2,k,之中，,U,为,X,j,的偏回归平方和,即,U,=,SS,回归,SS,回归(-,j,),F,j,服从,F,(1,n-k-1),分布,表,11-5,例,11.1,数据的偏回归系数,F,检验表,在,0.05水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对血糖的线性回归关系无统计学意义。所以应剔除,X,2，只建立,X,1与,Y,的线性回归方程。,(2),t,检验,j,=1,2,k,，,P=,0.0005；,在,0.05水平下，认为血糖与胰岛素的线性回归关系,有统计学意义，而与生长素的线性回归关系无统计学意义。,结论与,F,检验一致,。,，,P=0.4110,。,三、标准化回归系数,（,sta,n,dardized partial regression coefficient),式中，,S,j,及,S,y,分别为自变量,X,j,及因变量,Y,的标准差。,可以利用标准化偏回归系数的大小,来反映各自变量的贡献大小。,复相关系数（,multiple correlation,coefficient,）,又称多元相关系数或全相关系数，表示回归方程中的全部自变量,X,共 同对应变量,Y,的相关密切程度。复相关系数取值总为正值，在,0,与,1,之间，简记为,R,。如果只有一个自变量，此时,四、,复相关系数与决定系数,2,决定系数,(coefficient of determination,）复相关系数的平方又称决定系数，记为 ，用以反映线性回归方程能在多大程度上解释应变量,Y,的变异性,。,回归方程的拟合程度越好，残差平方和就越小，决定系数 越接近1，决定系数 越接近1,第二节多元逐步回归,（,multiple stepwise regression,）,1.,多元逐步回归的基本思想,多元逐步回归（,multiple stepwise regression,）,有三种筛选自变量的方法：,1,向后法（,Backward selection,）先建立一个全因素的回归方程，然后每次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，此法的计算量大，有时不能实现。,2,向前法（,forward selection,）方程由一个自变量开始，每次引入一个偏回归平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以引入为止。用此法建立的方程有时不够精炼。,3.,逐步法（,stepwise selecfion,）取上述两种方法的优点，在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义的自变量可以剔除时为止。,2.,多元逐步回归的基本原理,每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和的,F,检验或校正决定系数。,如方程中已引入了,(,m,-1),个自变量，在此基础上考虑再引入变量,X,j,。,记引入,X,j,后方程（即含,m,个自变量）的回归平方和为,SS,回归,，残差为,SS,残差；,之前含,(,m,-1),个自变量（不包含,X,j,）方程的回归平方和为,SS,回归,(-,j,),，则,X,j,的偏回归平方和为,U,=,SS,回归,SS,回归,(-,j,),，检验统计量为：,F,j,服从,F,(1,n-m,-1),分布,如果,F,j,F,(1,n-m,-1)，则,X,j,选入方程；否则，不入选。,从方程中剔除无统计学作用的自变量，过程则相反，但检验一样。,3.,多元逐步回归的检验水平,在进行逐步回归前，首先应确定检验水平，以作为引入或剔除变量的标准。检验水平可以根据具体情况而定，一般可将,F,值定在,为,0.05,、,0.10,或,0.20,水平上。对于回归方程的选入和剔除水平往往选择,选入,剔除,。,选择不同的,F,值,(,或,水平,),，其回归方程的结果可能不一致，一般可选不同的,F,值,(,或,值,),作调试。至于何种结果是正确的，必须结合医学的实际意义来确定,。,4.,多元逐步回归事例,对例,11.2,采用逐步法筛选自变量，选入水准为,0.10,剔除水准为,0.15,，,SAS,软件计算过程及相应结果见表,11-8,至,表,11-11,。,多元逐步回归方程为：,第三节多元线性回归的注意事项,1.,应用条件,（,1,）线性依存关系 应变量与自变量间具有线性依存关系。,（,2,）正态性 应变量原则上是连续型可测正态变量，其预测值与实际观测值的差值（即残差）服从正态分布，当样本量较大时可以忽略正态性的要求。,（,3,）独立性 观察单位之间是独立的，即应变量的观测值相互独立。,2.,样本含量,一般应使样本量是自变量个数的,5,倍以上。,3.,自变量的数量化 注意名义变量的数量化。,4.,筛选自变量的检验水平 要考虑入选变量的实际意义。,5.,多重共线性 可采用主成分分析或因子分析等方法构建新的自变量后再进行多元线性回归来消除多重共线性。,谢 谢！,