sss教程三相关分析与回归模型的建立与分析.doc

精选资料第三章 相关分析与回归模型的建立与分析 相关分析和回归分析是统计分析方法中最重要内容之一，是多元统计分析方法的基础。相关分析和回归分析主要用于研究和分析变量之间的相关关系，在变量之间寻求合适的函数关系式，特别是线性表达式。u 本章主要内容：1、 对变量之间的相关关系进行分析（Correlate）。其中包括简单相关分析（Bivariate）和偏相关分析（Partial）。2、 建立因变量和自变量之间回归模型（Regression），其中包括线性回归分析（Linear）和曲线估计（Curve Estimation）。u 数据条件：参与分析的变量数据是数值型变量或有序变量。3.1 相关分析在SPSS中，可以通过Analyze菜单进行相关分析（Correlate），Correlate菜单如图3.1所示。 图3.1 Correlate 相关分析菜单3.1.1 简单相关分析两个变量之间的相关关系称简单相关关系。有两种方法可以反映简单相关关系。一是通过散点图直观地显示变量之间关系，二是通过相关系数准确地反映两变量的关系程度。3.1.1.1 散点图SPSS软件的绘图命令集中在Graphs菜单。下面通过例题来介绍具体操作方法。例1：数据库SY-8中的变量X表示山东省人均国内生产总值，Y表示山东省城镇居民的消费额（资料来源：山东省2003年统计年鉴），现画出散点图来观察两个变量的关联程度。具体操作步骤如下：首先打开数据SY-8，然后单击Graphs Scatter,打开Scatter plot散点图对话框，如图3.2所示。然后选择需要的散点图，图中的四个选项依次是：Simple 简单散点图 Matrix 矩阵散点图Overlay 重叠散点图 3-D 三维散点图 图3.2 散点图对话框如果只考虑两个变量，可选择简单的散点图Simple，然后点击Define，打开Simple Scatterplot对话框,如图3.3所示。 图3.3 Simple Scatterplot对话框选择变量分别进入X轴和Y轴，点击OK后就可以得到散点图，见图3.4。从下面输出的人均国内生产总值与城镇居民消费额的散点图3.4中可以粗略地看出，两个变量之间有强正相关的线性关系。图3.4 散点图3.1.1.2 简单相关分析操作简单相关分析是指两个变量之间的相关分析，主要是指对两变量之间的线性相关程度作出定量分析。仍然数据SY-8为例，说明居民收入与某商品的销售量两变量的相关分析过程，具体操作如下：1、打开数据库SY-8后，单击Analyze Correlate Bivariate 打开Bivariate对话框，见图3.5所示。 图3.5 Bivariate：Correlation 两变量相关分析对话框2、从左边的变量框中选择需要考察的两个变量进入 Variables 框内，从Correlation Coefficients 栏内选择相关系数的种类，有Pearson相关系数，Kendalls一致性系数和Spearman等级相关系数。从检验栏内选择检验方式，有双尾检验和单尾检验两种。 3、单击Options按纽，选择输出项和缺失值的处理方式。本例中选择输出基本统计描述，见图3.6所示。 图3.6 Bivariate Correlation：Options 对话框4、单击OK，可以得到相关分析的结果。从表3.1（a）可以得到两个变量的基本统计描述，从表(b)中可以得到相关系数及对相关系数的检验结果，由于尾概率就小于0.01，故说明两变量之间存在着显著的线性相关性。 表3.1（a）基本统计描述 Descriptive Statistics MeanStd. DeviationN城镇居民消费额（元）2582.28002335.9638425人均国内生产总值（元）3689.88003701.5079825 表3.1（b）相关系数检验 Correlations 城镇居民消费额（元）人均国内生产总值（元）城镇居民消费额（元）Pearson Correlation1.998(*) Sig. (2-tailed).000 N2525人均国内生产总值（元）Pearson Correlation.998(*)1 Sig. (2-tailed).000. N2525* Correlation is significant at the 0.01 level (2-tailed).从表3.1（b）中可以看到两个变量相关性分析的结果：相关系数是0.998，相关程度非常高，且假设检验的P值远远地小于0.05，可以认为居民收入与某产品的销量存在线性正相关关系。3.1.2 偏相关分析简单相关关系只反映两个变量之间的关系，但如果因变量受到多个因素的影响时，因变量与某一自变量之间的简单相关关系显然受到其它相关因素的影响，不能真实地反映二者之间的关系，所以需要考察在其它因素的影响剔除后二者之间的相关程度，即偏相关分析。例2：为了考察火柴销售量的影响因素，选择煤气户数、卷烟销量、蚊香销量、打火石销量作为影响因素，得数据表3.2。试求火柴销售量与煤气户数的偏相关系数.表3.2 火柴销量及影响因素表（见参考文献1）年份火柴销售量（万件）煤气户数（万户）卷烟销量（百箱）蚊香销量（十万盒）打火石销量（百万粒）6823.6925.6823.610.14.186924.125.7723.4213.312.437022.7425.8822.099.496.57117.8427.4321.4311.0925.787218.2729.9524.9614.4828.167320.2933.5328.3716.9724.267422.6137.3142.5720.1630.187526.7141.1645.1626.3917.087631.1945.7352.4627.047.397730.550.5945.323.083.887829.6358.8246.824.4610.537929.6965.2851.1133.8220.098029.2571.2553.2933.5721.228131.0573.3755.3639.5912.638232.2876.685448.4911.17解：根据数据表建立数据文件SY-9，求解火柴销售量与煤气户数的偏相关系数具体操作如下：1、首先打开数据文件SY-9，单击Analyze Correlate Partial，打开Partial Correlations对话框，见图3.7所示。图 3.7 Partial Correlations2、从左边框内选择要考察的两个变量进入Variables框内，其它客观存在的变量作为控制变量进入Controlling for 框内，如本例中考察煤气户数与火柴销量的偏相关系数进入Variables框内，其它相关变量（除年份外）进入Controlling for 框内。3、单击Options按纽，打开Options 对话框如图3.8所示。从 Statistics 栏中选择输出项，有平均值及标准差，Zero-order correlations 表示在输出偏相关系数的同时输出变量间的简单相关系数。另外还有缺失值的处理方式。本例中选择简单相关系数。 图3.8 Partial Correlate: Options对话框4、选择结束后，单击OK得输出结果，如表3.3所示。表3.3 偏相关分析输出表- - - P A R T I A L C O R R E L A T I O N C O E F F I C I E N T S - - -Zero Order Partials 简单相关 火柴销量 煤气户数 打火石量 蚊香销量 卷烟销量火柴销量 1.0000 .8260 -.4902 .8083 .8788 (简单相关系数) ( 0) ( 13) ( 13) ( 13) ( 13) （自由度） P= . P= .000 P= .064 P= .000 P= .000 （P值）煤气户数 .8260 1.0000 -.0230 .9489 .9029 ( 13) ( 0) ( 13) ( 13) ( 13) P= .000 P= . P= .935 P= .000 P= .000打火石量 -.4902 -.0230 1.0000 -.0070 -.0295 ( 13) ( 13) ( 0) ( 13) ( 13) P= .064 P= .935 P= . P= .980 P= .917蚊香销量 .8083 .9489 -.0070 1.0000 .9030 ( 13) ( 13) ( 13) ( 0) ( 13) P= .000 P= .000 P= .980 P= . P= .000卷烟销量 .8788 .9029 -.0295 .9030 1.0000 ( 13) ( 13) ( 13) ( 13) ( 0) P= .000 P= .000 P= .917 P= .000 P= .(Coefficient / (D.F.) / 2-tailed Significance) . is printed if a coefficient cannot be computed_- - - P A R T I A L C O R R E L A T I O N C O E F F I C I E N T S 偏相关系数 - -Controlling for（控制变量）. 打火石量 蚊香销量 卷烟销量 火柴销量 煤气户数火柴销量 1.0000 .6046 （偏相关系数） ( 0) ( 10) （自由度） P= . P= .037 （P值）煤气户数 .6046 1.0000 ( 10) ( 0) P= .037 P= .(Coefficient / (D.F.) / 2-tailed Significance) . is printed if a coefficient cannot be computed表中的上半部分是简单相关系数，下半部分是偏相关系数。从表中可以看出，火柴销量与煤气户数的简单相关系数为0.8260，自由度为13，检验的P值为0.000；而偏相关系数为0.6046，自由度为10，检验的P值为0.037，表示煤气户数对火柴销量的真实影响是显著的。 3.2 线性回归分析线性回归是统计分析方法中最常用的方法之一。如果所研究的现象有若干个影响因素，且这些因素对现象的综合影响是线性的，则可以使用线性回归的方法建立现象 （因变量）与影响因素（自变量）之间的线性函数关系式。由于多元线性回归的计算量比较大，所以有必要应用统计分析软件实现。这一节将专门介绍SPSS软件的线性回归分析的操作方法，包括求回归系数，给出回归模型的各项检验统计量值及相应的概率，对输出结果的分析等相关内容。3.2.1 线性回归模型假设条件与模型的各种检验1、线性回归的假设理论（1）正态性假设：即所研究的变量均服从正态分布；（2）等方差假设：即各变量总体的方差是相等的；（3）独立性假设, 即各变量之间是相互独立的；（4）残差项无自相关性，即误差项之间互不相关，Cov(ei，ej）= 02、线性回归模型的检验项目（1）回归系数的检验（t检验）。（2）回归方程的检验（F检验）。（3）拟合程度判定（可决系数R2）。（4）D.W检验（残差项是否自相关）。（5）共线性检验（多元线性回归）。（6）残差图示分析（判断异方差性和残差序列自相关）。3.2.2 线性回归分析的具体步骤SPSS软件中进行线性回归分析的选择项为AnalyzeRegressionLinear。如图3.9所示。下面通过例题介绍线性回归分析的操作过程。图3.9 Regression 分析功能菜单例3. 仍然用例2的数据，考察火柴销售量与各影响因素之间的相关关系，建立火柴销售量对于相关因素煤气户数、卷烟销量、蚊香销量、打火石销量的线性回归模型，通过对模型的分析，找出合适的线性回归方程。解：建立线性回归模型的具体操作步骤如下：1、打开数据文件SY-9，单击Analyze Regression Linear打开Linear 对话框如图3.10所示。2、从左边框中选择因变量Y进入Dependent 框内，选择一个或多个自变量进入Independent框内。从Method 框内下拉式菜单中选择回归分析方法，有强行进入法(Enter)，消去法(Remove)，向前选择法(Forward)，向后剔除法(Backward)及逐步回归法(Stepwise)五种。本例中选择逐步回归法(Stepwise)。 图3.10 Linear Regression对话框3、单击Statistics，打开Linear Regression： Statistics对话框，可以选择输出的统计量如图3.11所示。l Regression Coefficients栏，回归系数选项栏。Estimates (系统默认): 输出回归系数的相关统计量：包括回归系数，回归系数标准误、标准化回归系数、回归系数检验统计量（t值）及相应的检验统计量概率的P值（sig）。本例中只选择此项。Confidence intervals:输出每一个非标准化回归系数95的置信区间。Covariance matrix: 输出协方差矩阵。l 与模型拟合及拟合效果有关的选择项。Model fit是默认项。能够输出复相关系数R、R2及R2修正值，估计值的标准误，方差分析表。R squared change: 引入或剔除一个变量时，R2的变化。Descriptives: 基本统计描述。Part and Partial correlations：相关系数及偏相关系数。Collinearity diagnostics：共线性诊断。主要对于多元回归模型，分析各自变量的之间的共线性的统计量：包括容忍度和方差膨胀因子、特征值，条件指数等。本例中选择上面所有的统计项。l Residuals 残差栏Durbin-Watson：D.W检验.Casewise diagnostics: 奇异值诊断,有两个选项：Outliers outside( )standard deviations:奇异值判据，默认项标准差3。All case 输出所有观测量的残差值。本例中选择D.W检验及奇异值诊断，选择标准差为2，即置信度约为95%。 图3.11 Linear Regression： Statistics4、如果需要观察图形，可单击Plots按纽，打开Linear Regression：Plots对话框如图3.12所示。在此对话框中可以选择所需要的图形。 图3.12 Linear Regression：Plots对话框在左上角的源变量框中，选择Dependent 进入X（或Y）轴变量框，选择其它变量进入Y（或X）轴变量框，除因变量外，其客观存在变量依次是：ZPRED:标准化预测值，ZRESID:标准化残差，DRESID:剔除残差，ADJPRED:修正后预测值，SRESID学生化残差，SDRESID:学生化剔除残差。l Standardized Residual Plots栏，标准化残差图类型，有选择项：Histogram: 标准化残差直方图Normal probability plot 标准化残差序列的正态分布概率图.Produce all partial plots 依次绘制因变量和所有自变量的散布图本例中选择因变量Dependent与标准化残差ZRESID的残差图。5、单击Options按纽，打开Linear Regression：Options对话框，如图3.13所示。可以从中选择模型拟合判断准则Stepping Method Criteria 及缺失值的处理方式。 图3.13 Linear Regression：Options对话框l Stepping Method Criteria 栏，设置变量引入或剔除模型的判别标准。Use probability of F:采用F检验的概率为判别依据。Use F value: 采用F值作为检验标准。l Include constant in equation 回归方程中包括常数项。l Missing Values 缺失值的处理方式。本例中选择系统默认项。6、如果要保存预测值等数据，可单击Save按纽打开Linear Regression：Save对话框。选择需要保存的数据种类作为新变量存在数据编辑窗口。其中有预测值、残差，预测区间等。本例中不做选择。7、当所有选择完成后，单击OK得到分析结果。主要的分析结果见表3.4。 表 3.4(a) Model Summary(d) 模型综合分析表ModelRR SquareAdjusted R SquareStd. Error of the EstimateChange Statistics变动分析Durbin-Watson R Square ChangeF Changedf1df2Sig. F Change 1.879(a).772.7552.44047.77244.085113.0002.994(b).988.986.58304.216215.772112.0003.997(c).994.993.41783.00612.365111.0052.066a Predictors: (Constant), 卷烟销量（万箱）b Predictors: (Constant), 卷烟销量（万箱）, 打火石销量（百万粒）c Predictors: (Constant), 卷烟销量（万箱）, 打火石销量（百万粒）, 煤气户数（万户）d Dependent Variable: 火柴销量（万件）表3.4（a）模型综合分析中有模型的复相关系数R，样本决定系数R2，修正的可决系数，估计标准误，模型变化导致的可决系数及F值的变化，D.W检验值等。由上表中知模型3的修正的可决系数为0.993，其模型的拟合程度最好， DW值为2.066，显然通过DW检验，说明残差项不存在一阶自相关。表3.4（b）方差分析表方差分析表3.4（b）同时给出了3个模型的方差分析表。其中模型3的F值最大，说明模型3的回归效果最显著。 表3.4（c） 回归系数Model 非标准化回归系数Unstandardized Coefficients标准化回归系数Standardized Coefficients检验统计量tP值Sig.相关系数Correlations共线性统计Collinearity Statistics BStd. ErrorBeta 单相关Zero-order偏相关PartialPart容忍度Tolerance方差膨胀因子VIF1(Constant)13.3921.999 6.698.000 卷烟销量（万箱）.320.048.8796.640.000.879.879.8791.0001.0002(Constant)17.240.545 31.647.000 卷烟销量（万箱）.315.012.86527.347.000.879.992.865.9991.001 打火石销量（百万粒）-.243.017-.465-14.689.000-.490-.973-.464.9991.0013(Constant)17.420.394 44.243.000 卷烟销量（万箱）.254.019.69813.228.000.879.970.300.1855.417 打火石销量（百万粒）-.243.012-.465-20.526.000-.490-.987-.465.9991.001 煤气户数（万户）.049.014.1853.516.005.826.727.080.1855.415a Dependent Variable: 火柴销量（万件）表3.4（c）中的Model栏中，模型1是先将卷烟销量作为自变量进入模型，模型2将卷烟销量与打火石销量两个自变量进入模型，模型3是将卷烟、打火石和煤气户数三个自变量进入模型。第四个自变量蚊香销量没有通过检验自动剔除。回归系数表的输出结果可以看出，回归系数都通过检验，模型中自变量与因变量的偏相关系数都在0.7以上，说明进入模型的自变量对因变量的影响都比较显著。由最后两列的容忍度Tolerance和方差膨胀因子VIF的值来看，自变量之间不存在强烈的共线性。 表3.4（d）相关系数表Correlations 火柴销量（万件）煤气户数（万户）卷烟销量（万箱）蚊香销量（十万盒 ）打火石销量（百万粒）Pearson Correlation火柴销量（万件）1.000.826.879.808-.490 煤气户数（万户）.8261.000.903.949-.023 卷烟销量（万箱）.879.9031.000.903-.029 蚊香销量（十万盒 ）.808.949.9031.000-.007 打火石销量（百万粒）-.490-.023-.029-.0071.000Sig. (1-tailed)火柴销量（万件）.000.000.000.032 煤气户数（万户）.000.000.000.468 卷烟销量（万箱）.000.000.000.458 蚊香销量（十万盒 ）.000.000.000.490 打火石销量（百万粒）.032.468.458.490.N火柴销量（万件）1515151515 煤气户数（万户）1515151515 卷烟销量（万箱）1515151515 蚊香销量（十万盒 ）1515151515 打火石销量（百万粒）1515151515 相关分析表中表示的相关系数是全部变量（自变量与因变量）的两两变量之间的简单相关系数和相关性检验。表3.4（e）残差统计 残差统计表3.4（e）表示了预测值、残差、标准化预测值和标准化残差的特征值。其中包括预测值及残差项的最小值和最大值、均值、标准误和样本容量。表3.4（f） 共线性诊断表：共线性诊断表中第二列是特征值，第三列是条件指数，最后一列是方差比。最大的条件指数小于20，说明自变量之间不存在比较强烈的共线性。表3.4（g）奇异值表（标准化残差值大于2）奇异值表3.4（g）中依次是序号，标准化残差值，实际观测值、预测值及残差值。表中给出的两个个体数据的标准化残差（数据号为12和14）超出了2。表3.4（h）标准化残差图： 由图中可以看出，残差图中的点分布是随机的，没有出现趋势性，所以回归模型是有效的。最终得回归模型为：3.3 曲线估计上节介绍了线性回归模型的分析和检验方法。如果某对变量数据的散点图不是直线，而是某种曲线的形式时，可以利用曲线估计的方法为数据寻求一条合适的曲线，也可用变量代换的方法将曲线方程变为直线方程，用线性回归模型进行分析和预测。SPSS提供了多种曲线方程。列出表3.5如下： 表3.5 可化为线性方程的曲线方程函数名称方程形式相应的线性回归方程Linear线性函数Quadratic二次多项式Compound复合模型Growth生长曲线Logarithmic对数函数Cubic三次多项式S S曲线Exponential指数函数Inverse逆函数Power幂函数Logistic逻辑曲线这里以例题说明曲线拟合的具体操作方法。例4：表3.6表示的是全国1990年至2002年人均消费支出与教育支出的统计数据，试以人均消费性支出为解释变量，教育支出作为被解释变量，拟合用一条合适的函数曲线。表3.6 人均消费支出与教育支出数据表（见参考文献3）年份人均消费性支出（元）教育支出（元）19901627.6438.2419911854.2247.9119922203.657.5619933138.5671.0019944442.09153.9819955565.68194.6219966544.73307.9519977188.71419.1919987911.94542.7819997493.31556.9320007997.37656.2820019463.071091.8520029396.451062.13解：首先根据上表建立数据SY-10，作出人均消费支出与教育支出的散点图3.14如下：图3.14 人均消费与教育支出的散点图由上面图形可以看出，两个变量的散点图为增长的曲线形式，故选择合适的函数进行曲线估计。具体操作如下：1、单击Analyze Regression Curve Estimation打开Curve Estimation对话框。如图3.15所示：图3.15 Curve Estimation曲线估计对话框2、选择估计曲线：SPSS有多条曲线形式供选择。根据散点图，本例中选择Quadratic, Power ，和Compound曲线进行对比分析。3、单击Save按纽，打开Save对话框如图3.16所示。图3.16 Curve Estimation：Save对话框选择需要保存到数据表中的项目。在Save Variables栏中，复选项依次是：Predicted Values预测值、Residuals残差、Prediction intervals预测区间，可以在下方框中选择置信度，默认值为95%。本例中不作选择。4、所有选择完成后，单击OK，得到输出结果如表3.7.：表3.7 曲线估计输出表与曲线图Independent: X决定系数 自由度 F值 P值 回归系数 Dependent Mth Rsq d.f. F Sigf b0 b1 b2 Y QUA .987 10 382.64 .000 252.698 -.1475 2.5E-05 Y COM .995 11 2086.35 .000 20.9550 1.0004 Y POW .954 11 229.58 .000 3.6E-05 1.8460 从表中可以看出，可决系数接近1的模型是 Com复合函数，同时也可通过图形验证这三个模型对观察值的拟合程度。下面对以上三个模型进一步分析。在主对话框的下方选择输出方差分析表Display AMOVA table, 可得到方差分析表的详细分析结果如表3.8所示： 表3.8 曲线估计及方差分析表Dependent variable. Y Method. QUADRATI二次多项式复相关指数Multiple R .99353可决系数R Square .98710修正的可决系数Adjusted R Square .98452标准误Standard Error 45.70690 Analysis of Variance: 方差分析表 自由度 平方和 均方DF Sum of Squares Mean SquareRegression 2 1598766.0 799383.00Residuals 10 20891.2 2089.12F（检验统计量） = 382.64096 Signif F（假设检验P值） = .0000- Variables in the Equation -变量 回归系数 标准误 标准化系数 T值 P值Variable B SE B Beta T Sig T X -.147527 .025041 -1.134958 -5.892 .0002X*2 2.46018091E-05 2.2722E-06 2.085797 10.827 .0000(Constant) 252.697890 57.792248 4.373 .0014_Dependent variable. Y Method. COMPOUND复合函数Listwise Deletion of Missing DataMultiple R .99737R Square .99476Adjusted R Square .99428Standard Error .09002 Analysis of Variance: DF Sum of Squares Mean SquareRegression 1 16.905289 16.905289Residuals 11 .089131 .008103F = 2086.35111 Signif F = .0000- Variables in the Equation -Variable B SE B Beta T Sig TX 1.0