SPSS的线性回归分析.ppt

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,SPSS的线性回归分析,第九章,线性回归分析,9.1,回归分析概述,9.2,线性回归分析和模型,9.3,回归方程的统计检验,9.4多元回归分析中的其他问题,9.5,线性回归分析的基本操作,9.6,线性回归分析的应用举例,9.7,曲线估计,9 线性回归分析,9.1线性回归分析概述,线性回归分析的内容,能否找到一个线性组合来说明一组自变量和因变量的关系,如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强,整体解释能力是否具有统计上的显著性意义,在整体解释能力显著的情况下，哪些自变量有显著意义,回归分析的一般步骤,确定回归方程中的解释变量（自变量）和被解释变量（因变量）,确定回归方程,对回归方程进行各种检验,利用回归方程进行预测,9.2 线性回归模型,一元线性回归模型的数学模型：,其中x为自变量；y为因变量；为截距，即常量；为回归系数，表明自变量对因变量的影响程度。,用最小二乘法求解方程中的两个参数，得到：,多元线性回归模型,多元线性回归方程：,y=,0,+,1,x,1,+,2,x,2,+.+,k,x,k,1,、,2,、,k,为偏回归系数。,1,表示在其他自变量保持不变的情况下，自变量x,1,变动一个单位所引起的因变量y的平均变动。,9.3,回归方程的统计检验,9.3.1,回归方程的拟合优度,回归直线与各观测点的接近程度称为回归方程的,拟合优度,，,也就是,样本观测值聚集在回归线周围的,紧密程度,。,1,、,离差平方和的分解：,建立直线回归方程可知：,y,的观测值的总变动,可由 来反映，称为,总变差,。引起总变差的,原因有两个：,由于,x,的取值不同，使得与,x,有线性关系的,y,值不同；,随机因素的影响。,x,y,总离差平方和可分解为,总离差平方和（,SST)=,回归离差平方和（,SSR)+,剩余离差平方和,(SSE),其中：,SSR,是由,x,和,y,的直线回归关系引起的，可以由回归直线做出解释；,SSE,是除了,x,对,y,的线性影响之外的随机因素所引起的,Y,的变动，是回归直线所不能解释的。,2、可决系数（判定系数、决定系数）,回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量,X,与,Y,的关系密切程度以及回归直线的代表性好坏，称为可决系数。对于一元线性回归方程：,对于多元线性回归方程：,在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。,所以在,多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度,。,9.3.2 回归方程的显著性检验（方差分析F检验）,回归方程,的显著性检验是要检验,被解释变量,与,所有,的,解释变量,之间的,线性关系是否显著,。,对于一元线性回归方程，检验统计量为：,对于多元线性回归方程，检验统计量为：,9.3.3 回归系数的显著性检验（t检验）,回归系数,的显著性检验是要检验回归方程中,被解释变量与,每一个,解释变量,之间的,线性关系是否显著,。,对于一元线性回归方程，检验统计量为：,对于多元线性回归方程，检验统计量为：,9.3.4 残差分析,残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为：,对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与X的取值无关；残差不存在自相关；残差方差相等。,1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。,2、DW检验。DW检验用来检验残差的自相关。检验统计量为：,DW=2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5之间即可说明无自相关现象。,9.4 多元回归分析中的其他问题,9.4.1 解释变量的筛选问题,(一)自变量筛选的目的,多元回归分析引入多个自变量.如果引入的自变量个数较少,则不能很好的说明因变量的变化;,并非自变量引入越多越好.原因:,有些自变量可能对因变量的解释没有贡献,自变量间可能存在较强的线性关系,即:多重共线性.因而不能全部引入回归方程.,(,二,),自变量向前筛选法,(forward),即:自变量不断进入回归方程的过程.,首先,选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验;,其次,在剩余的自变量中寻找,偏相关系数最高,的变量进入回归方程,并进行检验;,默认:回归系数检验的概率值小于,a,(0.05),才可以进入方程.,反复上述步骤,直到没有可进入方程的自变量为止.,(,三,),自变量向后筛选法,(backward),即:自变量不断剔除出回归方程的过程.,首先,将所有自变量全部引入回归方程；,其次,在一个或多个,t,值不显著的自变量中将,t,值最小的那个变量剔除出去,并重新拟和方程和进行检验;,默认:回归系数检验值大于,a,(0.10),则剔除出方程,如果新方程中所有变量的回归系数,t,值都是显著的,则变量筛选过程结束.,否则,重复上述过程,直到无变量可剔除为止.,(,四,),自变量逐步筛选法,(stepwise),即,:,是“向前法”和“向后法”的结合。,向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不会被剔除,随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的变量。,逐步筛选法则在变量的每一个阶段都考虑剔除一个变量的可能性。,多重共线性,是指解释变量之间存在线性相关关系的现象,。测度多重共线性一般有以下方式：,1、容忍度,：,其中，是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。,2、方差膨胀因子VIF,。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。,9.4.2 多重共线性分析,3、特征根和方差比,。根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。,4、条件指数,。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强；当条件指数大于100时说明存在严重的多重共线性。,9.4.2 多重共线性分析,9.5 线性回归分析的基本操作,（1）选择菜单,AnalyzeRegressionLinear,出现窗口：,（2）选择被解释变量进入,Dependent,框。,（3）选择一个或多个解释变量进入,Independent(s),框。,（4）在,Method,框中选择回归分析中解释变量的筛选策略。其中,Enter,表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中；,Remove,表示从回归方程中剔除所选变量；,Stepwise,表示逐步筛选策略；,Backward,表示向后筛选策略；,Forward,表示向前筛选策略。,（5）第三和第四步中确定的解释变量及变量筛选策略可放置在不同的块（,Block,）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击,Next,和,Previous,按钮设置多组解释变量和变量筛选策略并放置在不同的块中。,（6）选择一个变量作为条件变量放到,Selection,Variable,框中，并单击,Rule,按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析。,（7）在,Case Labels,框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。,9.5 线性回归分析的其他操作,1、,Statistics,按钮，出现的窗口可供用户选择更多的输出统计量。,（1）,Estimates,：SPSS默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数）回归系数标准误差、标准化回归系数、回归系数显著性检验的t统计量和概率p值，各解释变量的容忍度。,（2）,Confidence Intervals,：输出每个非标准化回归系数95的置信区间。,（3）,Descriptive,：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率p值。,（4）,Model fit,：SPSS默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回归方程显著F检验的方程分析表。,（5）,R squared change,：输出每个解释变量进入方程后引起的判定系数的变化量和F值的变化量。,（6）,Part and partial correlation,：输出方程中各解释变量与被解释变量之间的简单相关、偏相关系数。,（7）,Covariance matrix,：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。,（8）,Collinearity Diagnostics,：多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。,（9）在,Residual,框中：,Durbin-waston,表示输出,DW,检验值；,Casewise Diagnostic,表示输出标准化残差绝对值大于等于3（SPSS默认值）的样本数据的相关信息，包括预测值、残差、杠杆值等。,2、,Options,选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。,3、,Plot,选项，出现的窗口用于对残差序列的分析。,（1）窗口左边框中各变量名的含义是：,DEPENDNT,表示被解释变量，,*ZPRED,表示标准化预测值，,*ZRESID,表示标准化残差，,*DRESID,表示剔除残差，,*ADJPRED,表示调整的预测值，,*SRESID,表示学生化残差，,*SDRESID,表示剔除学生化残差。,（2）绘制多对变量的散点图，可根据需要在,scatter,框中定义散点图的纵坐标和横坐标变量。,（3）在,Standardized Residual Plots,框中选择,Histogram,选项绘制标准化残差序列的直方图；选择,Normal probability plot,绘制标准化残差序列的正态分布累计概率图。选择,Produce all partial,plots,选项表示依次绘制被解释变量和各个解释变量的散点图。,4、,Save,选项，该窗口将回归分析的某些结果以SPSS变量的形式保存到数据编辑窗口中，并可同时生成XML格式的文件，便于分析结果的网络发布。,（1）Predicted Values框中：保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差。,（2）Distance框中：保存均值或个体预测值95（默认）置信区间的下限值和上限值。,（3）Residual框中：保存非标准化残差、标准化残差等。,（4）Influence Statistics框中：保存剔除第i个样本后统计量的变化量。,5、,WSL,选项，采用加权最小二乘法替代普通最小二乘法估计回归参数，并指定一个变量作为权重变量。,以高校科研研究数据为例，建立回归方程研究,课题总数受论文数的影响,以课题,总数（X,5,）为,被解释变量，解释变量为投入人年数（X,2,）、受投入高级职称的人年数（X,3,）、投入科研事业费（X,4,）、专著数（X,6,）、论文数（X,7,）、获奖数（X,8,）。,解释变量采用强制进入策略（Enter），并做多重共线性检测。,解释变量采用向后筛选策略让SPSS自动完成解释变量的选择。,解释变量采用逐步筛选策略让SPSS自动完成解释变量的选择。,9.,6,线性回归分析的应用举例,1、为研究收入和支出的关系，收集1978-2002年我国的年人均可支配收入和年人均消费性支出数据，研究收入与支出之间是否具有较强的线性关系。,2、以年人均支出和教育数据为例，建立回归方程研究年人均消费支出、恩格尔系数、在外就餐、教育支出、住房人均使用面积受年人均可支配收入的影响。,练 习,9.7 曲线估计,9.7.1 曲线估计概述,变量间的相关关系,中，并不总是表现出,线性关系,，,非线性关系,也是极为常见的。,变量之间的非线性关系可以划分为,本质线性关系,和,本质非线性关系,。,本质线性关系,是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最终可通过线性回归分析建立线性模型。,本质非线性关系,是指变量关系不仅形式上呈非线性关系，而且也无法变换为线性关系。,本节的,曲线估计,是解决,本质线性关系,问题的。,常见的本质线性模型,1、,二次曲线（Quadratic），,方程为：,变量变换后的方程为：,2、,复合曲线（Compound），,方程为：,变量变换后的方程为：,3、,增长曲线（Growth），,方程为：,变量变换后的方程为：,常见的本质线性模型,4、,对数曲线（Logarithmic），,方程为：,变量变换后的线性方程为：,5、,三次曲线（Cubic），,方程为：,变量变换后的方程为：,6、,S曲线（S），,方程为：,变量变换后的方程为：,7、,指数曲线（Exponential），,方程为：,变量变换后的线性方程为：,常见的本质线性模型,8、,逆函数（Inverse），,方程为：,变量变换后的方程为：,9、,幂函数（Power），,方程为：,变量变换后的方程为：,10、,逻辑函数（Logistic），,方程为：,变换后的线性方程为：,常见的本质线性模型,SPSS曲线估计,中,:,首先，在不能明确究竟哪种模型更接近样本数据时，可在多种可选择的模型中选择几种模型；,然后,SPSS,自动完成模型的,参数估计,，并输出回归方程显著性检验的,F值,和概率,p值,、,判定系数R,2,等统计量；,最后，以,判定系数,为主要依据选择其中的,最优模型,，并进行,预测分析,等。,另外，,SPSS曲线估计,还可以以,时间为解释变量,实现,时间序列,的,简单回归分析,和,趋势外推分析,。,通过绘制并观察样本数据的,散点图,粗略确定被解释变量和解释变量之间的,相关关系,，为,曲线拟合,中的模型选择提供依据。,SPSS曲线估计,的基本操作步骤是：,（1）选择菜单,AnalyzeRegressionCurve Estimation,，出现窗口如下页所示。,（2）把被解释变量选到,Dependent,框中。,9.7.2 曲线估计的基本操作3）曲线估计中的解释变量可以是相关因素变量也可是时间变量。如果解释变量为相关因素变量，则选择,Variable,选项，并把一个解释变量指定到,Independent,框；如果选择,Time,参数则表示解释变量为时间变量。,（4）在,Models,中选择几种模型。,（5）选择,Plot Models,选项绘制回归线；选择,Display ANOVA table,输出各个模型的方差分析表和各回归系数显著性检验结果。,至此，完成了曲线估计的操作，SPSS将根据选择的模型自动进行曲线估计，并将结果显示到输出窗口中。,1、教育支出的相关因素分析,为,研究,居民家庭教育支出和消费性支出之间的关系，收集到1978年至2002年全国人均消费性支出和教育支出的数据。,首先绘制教育支出和消费性支出的散点图。观察散点图发现两变量之间呈非线性关系，可尝试选择,二次,、,三次曲线,、,复合函数,和,幂函数模型,，利用,曲线估计,进行,本质线性模型分析,。其中，教育支出为被解释变量，消费性支出为解释变量。,9.7.3 应用举例,步骤1 作散点图,如图得：满足非线性相关,步骤2 求非线性回归方程,如图可知：,复合函数R,2,最高，拟合优度最好，,得回归方程：,y=b,0,*b,1,x,得：,y=20.955*1.00042,x,2、分析和预测居民在外就餐的费用,利用收集到1978年至2002年居民在外就餐消费的数据，对居民未来在外就餐的趋势进行分析和预测。,首先绘制就餐费用的序列图，选择菜单GraphsSequence。得到的序列图表明自80年代以来居民在外就餐费用呈非线性增加，90年代中期以来增长速度明显加快，大致呈指数形式，可利用曲线估计进行分析。由于要进行预测，因此在曲线估计主窗口中要单击Save按钮，出现如下窗口：,第一步,第二步,年份转换为秩，1978年为1，2002年为25，2003年为26，2004年为27,27为2004年的秩,运行结果,回归方程：Y=12.522*e,0.154x,x=秩,注：年份转换成秩后的序列,Save Variables框中：Predicted values表示保存预测值；Residual表示保存残差；Prediction interval表示保存预测值默认95置信区间的上限和下限值。,Predict cases框中：只有当解释变量为时间时才可选该框中的选项。Predict from estimation period through last case表示计算当前所有样本期内的预测值；Predict through表示计算指定样本期内的预测值，指定样本期在Observation框后输入。,本例希望预测2003年和2004年的值，应在Observation框后输入27,（秩）,。,Thank you,