第十三章-多元回归与多元相关分析.ppt

单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第十三章 多元回归与多元相关分析,1,第一节：多元回归分析,一、多元线性回归模型,多元线性回归：是指具有两个或两个以上自变量，且各自变量均为一次项的回归。,多元回归跟一元回归在很多方面是相同的，只是多元回归方法更复杂些，计算量相当大，一般通过计算机程序来完成计算。,2,设因变量Y与自变量x,1,x,2,x,m,有关系式：,Y=a+b,1,x,1,+b,2,x,2,+b,m,x,m,+,其中是随机项。,现有n组数据：,（y,1,；x,11,，x,21,，x,m1,）,（y,2,；x,12,，x,22,，x,m2,）,.,（y,n,；x,1n,，x,2n,，x,mn,）,其中，x,ij,是自变量x,i,的第j个值，y,j,是Y的第j个观测值。,3,假定：,其中a,b,1,b,m,是待估参数；而,1,，,2,，,n,相互独立且服从相同的分布N（0，,2,）,4,样本多元回归方程为：,5,二多元线性回归方程的建立,同直线回归一样，用最小二乘法,要使Q达到最小，就必须使Q的偏微分方程皆等于0，即有：,6,.,整理得：,7,其中：,该方程组用矩阵表示为：,8,三、多元回归的假设检验和置信区间,（一）,多元线性回归方程的估计标准误,其中：S,y/,12m,多元回归方程的估计标准误；,Q,y/,12m,多元回归方程的离回归平方和（剩余平方和）；,df=n-(m+1)=n-m-1，因为在计算多元回归方程时，已用去a,b,1,b,2,b,m,共m+1 个统计数。,11,与直线回归分析类似，多元回归中因变量y的总平方和 也可分解为离回归平方和（剩余平方和）与回归平方和（U,y/12m,）即：,例13.2,12,（二）多元线性回归方程的假设检验,多元线性回归关系假设检验的原理和方法与直线回归关系的假设检验是一样的。,其假设为 ;,H,A,:不全为0。,可通过F检验来实现：,式中：分子自由度df,1,=m，分母自由度df,2,=n-(m+1),13,这里应注意两个问题：,1）多元线性回归关系显著不排斥有更合理的多元非线性回归方程的存在；,2）多元线性回归关系显著也不排斥其中存在着与因变量y无线性关系的自变量，因此有必要对各偏回归系数逐个进行假设检验，以便发现和剔除=0的自变量。,一般说来，只有当多元回归方程的自变量的偏回归系数均达到显著时，多元回归检验的F值才有确定意义。,例13.3,14,（三）偏回归系数的假设检验,偏回归系数的假设检验是逐个分别计算各偏回归系数b,i,来自,i,=0的总体的概率。,所作的假设为：,偏回归系数的假设检验有t检验和F检验两种。,t检验和F检验结果是完全一样的（F=t,2,）,实际应用时可任选一种。,15,（1）t检验,偏回归系数b,i,的标准误为：,符合df=n-(m+1)的t分布，故在H,0,:,i,=0的假设下，由 可知b,i,抽自,i,的总体的概率。,16,（2）F检验,U,pi,y在x,i,上的偏回归平方和,可确定b,i,来自,i,=0的总体的概率。,例13.4,17,（四）多元线性回归的区间估计,多元线性回归中因变量y的估计一般有两种。,1）对各变量的一组取值所对应的y总体平均数,y/12m,的估计；,2）对各变量的一组取值所对应的单个y的估计（观测值y）,y/12m,的置信区间为：,18,单个y的置信区间可用下式估计：,例13.5,19,第二节 多元相关分析,一多元相关分析,多元相关或复相关:是指m个自变量和因变量的总相关。,用多元相关系数R,y/12m,来表示m个自变量与因变量y总的密切程度。,（13.32）,20,R,y/12m,的取值区间为0，1，接近1，相关程度高，,多元相关系数的假设检验用F检验，而不能用t检验,。,假设H,0,：=0；对H,A,：0，其F值为：,（13.33）,式中，df,1,=m,df,2,=n-m-1,R,2,=R,2,y/12m,多元相关系数的显著性与多元回归方程的显著性一致，即R,y/12m,显著，多元回归方程必显著。,21,对同一资料，多元相关与多元回归的假设检验只需要进行一种。,由于在df,1,=m,df,2,=n=m-1一定时，给定显著水平的F值也一定，所以将式12.47移项整理，可得显著水平为时临界R值：,（13.34）,R与 比较，R 相关,按自由度df=n-m-1和变量个数M=m+1查附表14，而不必直接计算 。,22,称决定系数,它是多元回归平方和占y的总变异平方和的比率。,即有x%可由自变量的变异决定。,例13.6 P247,23,二、偏相关,偏相关系数,:在其他变量都保持一定时，表示指定的两个变量之间相关密切程度的量值称为偏相关系数。,偏相关系数用r加下标表示。,如三个变量x,1,x,2,x,3,则r,12,3,表示x,3,保持一定时，x,1,与x,2,的偏相关系数。,偏相关系数的取值范围和简单相关系数一样，也是-1，1。,24,（一）偏相关系数的一般解法,第一步：计算由简单相关系数构成的相关矩阵R(xi,xj,y)：,第二步：求其逆矩阵R,-1,25,第三步：计算偏相关系数r,ij.,:,例13.7,26,（二）偏相关系数的间接解法,当只有三个变量时，可用简单相关系数间接计算偏相关系数。,设三个变量为x,i,x,j,x,k,则当x,k,保持一定时，x,i,和x,j,间的偏相关系数为：,（13.36）,例13.8 P250,四个变量略。,27,（三）偏相关系数的假设检验,偏相关系数假设检验可采用t检验，同简单相关系数的假设检验相类似，检验的假设为H,0,:,ij,=0,H,A,:,ij,0,其t值为：,（13.39）,它服从自由度为n-M的t分布。若|t|t,为显著，在实践中，不需计算此t值，而是将r,ij.,与一定显著水平下的临界r,ij.,值相比较。,28,由13.39推出：,若实际算得的|r,ij.,|r,0.05,或r,0.01,则r,ij.,为显著或极显著，否则不显著。,这些,r,.,值已列入附表14的M=2列。,例13.9 P250,29,（四）偏相关与简单相关的区别,偏相关系数与简单相关系数不仅数据不同，而且符号也有异，见表13.6(P251)。,原因分析：简单相关系数没有排除其他变量的影响，其中混有其他变量的效应。,当其他变量与它成正相关时，便混有正效应，简单相关系数会高于偏相关系数；,当其他变量与它成负相关时，便混有负效应，简单相关系数会低于偏相关系数。,通过比较，能够反映变量间真实的相关密切程度。,30,