多元回归(补充).ppt

标题,文本,第十章多元线性回归,多元线性回归的基本思想是什么？,多元线性回归的模型与一元线性回归,有什么异同？,与一元线性回归相比，多元线性回归,的检验有何特殊之处？,多元线性回归分析：研究因变量（被解释变量）与两个或两个以上自变量（解释变量）之间的回归问题，称为多元回归分析。,多元线性回归分析的定义,线性回归,自变量个数,大于等于,2,多元,线性,回归,10.1,多元线性回归模型,b,0,为常数项,b,1,b,k,为偏回归系数，表示在其它自变量保持不变时，增加或减少一个单位时,Y,的平均变化量，,u,是去除,m,个自变量对,Y,影响后的随机误差（残差）。,多元线性回归的基本理论,10.1,多元线性回归模型,将,n,个观察数据代入上述模型，则问题转化为：,多元线性回归的基本理论,(10-1),10.1,多元线性回归模型,多元线性回归的基本理论,写为矩阵形式：,(10-2),10.1,多元线性回归模型,多元线性回归的基本理论,即：,(10-3),其中，,Y,u,是,n,维向量，,b,是,k,维向量，,x,是,mk,矩阵,10.1,多元线性回归模型,多元线性回归的基本理论,基本假定：,10.1,多元线性回归模型,多元线性回归的基本理论,10.2,参数的最小二乘估计,采用最小二乘估计回归系数,b,令：,取最小值,10.2,参数的最小二乘估计,Q,在最小值处偏导数为,0,，得：,（,10-4,）,采用最小二乘估计回归系数,b,10.2,参数的最小二乘估计,采用最小二乘估计回归系数,b,（,10-5,）,整理得：,求解该联立方程组即可得,10.3,回归方程的显著性检验,假设,求得的回归方程为：,10.3.1,总离差平方和分解,10.3.1,总离差平方和分解,同一元回归，可得：,并且：,（,10-6,）,10.3.1,总离差平方和分解,总离差平方和：,即是：,回归平方和：,残差平方和：,10.3.2,样本决定系数对回归方程“拟合优度”的检验,样本决定系数,，又称复决定系数，或多重决定系数。,定义：,样本决定系数,10.3.2,样本决定系数对回归方程“拟合优度”的检验,样本容量增大,n),R,2,也随之增大,(R,2,),R,2,的大小,很难说明问题,存在的问题,10.3.2,样本决定系数对回归方程“拟合优度”的检验,R,2,的改进,当,n,为小样本，解释变量数很大时，上式可能为负数，这时取其值为,0,。,R,2,与,均反映在给定样本下，回归方程与样本,观测值拟合优度，但不能据此进行总体模型的推断。,改进,10.3.3,回归方程的显著性检验,10.3.3,回归方程的显著性检验,检验的目的：检验,Y,与解释变量,x,1,，,x,2,，,x,k,之间的线性关系是否显著。,检验的目的,10.3.3,回归方程的显著性检验,检验的步骤,第一步，提出假设：,原假设：,H,0,：,b1,=b,2,=,b,k,=0,备择假设：,H,1,：,b,i,不全为,0,（,i=1,，,，,k,）,10.3.3,回归方程的显著性检验,检验的步骤,第二步，计算统计量：,或：,（,10-8,）,10.3.3,回归方程的显著性检验,第三步，查表，得：,检验的步骤,10.3.3,回归方程的显著性检验,检验的步骤,第四步，做检验：,拒绝,H,0,，,回归方程显著,接受,H,0,，,回归方程不显著,检验,法则,10.4,回归系数的显著性检验,回归方程显著，并不意味着每个解释变量对因变量,Y,的影响都重要,因此需要进行检验：,回归系数检验的必要性,回归方程显著,每个回归系数都显著,10.4,回归系数的显著性检验,回归系数检验的步骤,第一步，提出假设：,原假设：,H,0,：,b,i,=0 (i=1,，,2,，,k),备择假设：,H,1,：,b,i,0 (i=1,，,2,，,k),10.4,回归系数的显著性检验,回归系数检验的步骤,第二步，构造并计算统计量：,10.4,回归系数的显著性检验,回归系数检验的步骤,第三步，查表得：,10.4,回归系数的显著性检验,回归系数检验的步骤,第四步，做检验：,接受,H,0,检验,法则,拒绝,H0,回归分析自变量选择的四种方法,:,向前选择法,向后剔除法,逐步回归法,强迫进入法,1.,前进法,，,回归方程中的自变量从无到有、从少到多逐个引入回归方程。,此法已基本淘汰,。,后退法,，,先将全部自变量选入方程，然后逐步剔除无统计学意义的自变量。,剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作,F,检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。,逐步回归法,，,逐步回归法是在前述两种方法的基础上，进行,双向筛选,的一种方法。该方法本质上是前进法。,强迫进入法,根据事先的对变量之间关系的理论假设，将研究变量按一定顺序投入到回归方程中，而不管其显著还是不显著。这种方法常用于路径分析中。后面的内容会讲到这点。,消除多重共线性,剔除某个造成共线性的自变量，重建回归方程；合并自变量；,采用逐步回归方法,。,多重共线性是由于一个自变量与其它所有或某些自变量间的相关太高，以致它可以由其它自变量来线性表示。,多重共线性会导致估计值不准确，估计误差增大，甚至无法计算。,自变量的多重共线性,多重共线性的识别指标,虚变量的回归方程建立方法,如果自变量是离散型变量，那么就要使该自变量变成多个虚变量，虚变量的个数等于自变量水平数减,1,。,如果自变量有两个水平，如性别，那么我们只需要建立一个虚变量，用,1,表示男（女），用,0,表示女生。,如果自变量是三个水平，如家庭状况，它包括单亲家庭组、双亲家庭组和他人照顾组三个水平，我们只需要建立两个虚变量就可以。如下图。,注意虚变量的取值一般只是,1,和,0,两个。,多元回归分析步骤,根据理论假设，建立回归方程式：在,SPSS,中就是分别选择因变量和自变量。,考察是否存在离散型变量，如果存在，要转化为虚变量。,检验自变量是否存在多重共线性：在,SPSS,是点击,statistics,对话框中的,Collinearity diagnostics,。检验指标有：,Tolerance,、,VIF,和,CI,。,选择回归分析的方法：一般采用,Stepwise,方法和,Enter,法。前者还要在,Option,对话框中选择进入和删除的标准（一般采用默认标准）。,估计回归系数和标准化回归系数：点击,statistics,对话框中的,Estimates,。,检验回归方程的有效性：点击,statistics,对话框中的,Model fit,。,比较不同模型有效性的高低：点击,statistics,对话框中的,R squared change,。,检验模型的误差方差是否相等和是否呈正态分布：,点击,statistics,对话框中的,Dubin-Watson,和,Casewise diagnostics,。,点击,plots,对话框中的,Histogram,和,Normal probability plot,。,