主成分回归分析.doc

如何利用SPSS进行主成分回归实例分析

主成分回归分析数据编辑、定义格式
x1
x2
x3
x4
x5
Y
15.57
2463
472.92
18
4.45
566.52
44.02
2048
1339.75
9.5
6.92
696.82
20.42
3940
620.25
12.8
4.28
1033.15
18.74
6505
568.33
36.7
3.9
1603.62
49.2
5723
1497.6
35.7
5.5
1611.37
44.92
11520
1365.83
24
4.6
1613.27
55.48
5779
1687
43.3
5.62
1854.17
59.28
5969
1639.92
46.7
5.15
2160.55
94.39
8461
2872.33
78.7
6.18
2305.58
128.02
20106
3655.08
180.5
6.15
3503.93
96
13313
2912
60.9
5.88
3571.89
131.42
10771
3921
103.7
4.88
3741.4
127.21
15543
3865.67
126.8
5.5
4026.52
252.9
36194
7684.1
157.7
7
10343.81
409.2
34703
12446.33
169.4
10.78
11732.17
463.7
39204
14098.4
331.4
7.05
15414.94
510.22
86533
15524
371.6
6.35
18854.45

第一步，进行一般的线性回归分析：
首先给出各个变量的平均值，标准差，膨胀系数VIF，以便进行多重共线性诊断。
变量
平均值
标准差
膨胀系数VIF
x1
148.27588
161.03858
9597.57076
x2
18163.23529
21278.11055
7.94059
x3
4480.61824
4906.64206
8933.08650
x4
106.31765
107.95415
23.29386
x5
5.89353
1.58407
4.27984
y
4978.48000
5560.53359

然后给出各个变量之间的相关系数(右上角为显著水平) 。

x1
x2
x3
x4
x5
y
x1
1.00000
0.00000
0.00000
0.00000
0.00318
0.00000
x2
0.90738
1.00000
0.00000
0.00000
0.07228
0.00000
x3
0.99990
0.90715
1.00000
0.00000
0.00318
0.00000
x4
0.93569
0.91047
0.93317
1.00000
0.06135
0.00000
x5
0.67120
0.44665
0.67111
0.46286
1.00000
0.01497
y
0.98565
0.94517
0.98599
0.94036
0.57858
1.00000

以及一般线性回归模型分析结果：
方差分析表
方差来源
平方和
df
均方
F值
显著水平
回 归
490177488.12165
5
98035497.62433
237.79008
0.00000
剩 余
4535052.36735
11
412277.48794

总 的
494712540.48900
16
30919533.78056

相关系数R=0.995406，决定系数RR=0.990833，调整相关R'=0.993311

变量x
回归系数
标准系数
偏相关
标准误
t值
显著水平
b0
1962.94803

1071.36166
1.83220
0.09184
b1
-15.85167
-0.45908
-0.04888
97.65299
-0.16233
0.87375
b2
0.05593
0.21403
0.62148
0.02126
2.63099
0.02194
b3
1.58962
1.40269
0.15318
3.09208
0.51409
0.61652
b4
-4.21867
-0.08190
-0.17452
7.17656
-0.58784
0.56754
b5
-394.31413
-0.11233
-0.49331
209.63954
-1.88091
0.08446
剩余标准差sse=642.08838，Durbin-Watson d=2.73322。

第二步，对自变量进行主成分分析，给出主成分分析结果：

No
特征值
百分率%
累计百分率%
1
4.19712
83.94234
83.94234
2
0.66748
13.34968
97.29202
3
0.09463
1.89266
99.18469
4
0.04071
0.81423
99.99892
5
0.00005
0.00108
100.00000

并显示如下选择主成分个数的用户操作界面：

特征向量(转置)

x1
x2
x3
x4
x5
z1
0.48529
0.45324
0.48498
0.46097
0.33374
z2
-0.00203
-0.33561
-0.00085
-0.31080
0.88925
z3
-0.16623
0.80424
-0.15396
-0.53720
0.11524
z4
-0.46819
0.18747
-0.50926
0.63386
0.29073
z5
-0.71948
-0.00116
0.69408
0.02344
0.00678

自变量主成分得分(取特征值累积达到99％以上时的主成分个数)
No
Z(i,1)
Z(i,2)
Z(i,3)
y
N(1)
-1.81170
-0.30609
0.00379
566.52000
N(2)
-1.16504
1.11100
0.15353
696.82000
N(3)
-1.80908
-0.40993
0.06350
1033.15000
N(4)
-1.74265
-0.73249
0.01723
1603.62000
N(5)
-1.24284
0.18037
0.04845
1611.37000
N(6)
-1.38486
-0.38253
0.26886
1613.27000
N(7)
-1.14627
0.22486
0.00905
1854.17000
N(8)
-1.21993
-0.05181
-0.03732
2160.55000
N(9)
-0.58559
0.39431
-0.10235
2305.58000
N(10)
0.26954
-0.09984
-0.23024
3503.93000
N(11)
-0.61267
0.20059
0.14488
3571.89000
N(12)
-0.48828
-0.44453
-0.30515
3741.40000
N(13)
-0.17553
-0.23818
-0.18855
4026.52000
N(14)
1.46850
0.18695
0.29779
10343.81000
N(15)
3.22479
2.29596
0.14744
11732.17000
N(16)
3.55409
-0.33631
-0.86803
15414.94000
N(17)
4.86750
-1.59233
0.57712
18854.45000

第三步，进行主成分回归分析：
主成分回归分析分析结果如下：
方差分析表
方差来源
平方和
df
均方
F值
显著水平
回 归
484175253.05598
3
161391751.01866
199.11128
0.00000
剩 余
10537287.43303
13
810560.57177

总 的
494712540.48900
16
30919533.78056

相关系数R=0.989293，决定系数RR=0.978700，调整相关R'=0.986805

变量z
回归系数
标准系数
偏相关
标准误
t值
显著水平
b0
4978.47984

218.35758
22.79967
0.00000
b1
2664.87153
0.98183
0.98913
109.86444
24.25600
0.00000
b2
-814.79027
-0.11972
-0.63421
275.49407
-2.95756
0.01039
b3
353.29264
0.01955
0.13274
731.66281
0.48286
0.63666
剩余标准差sse=900.31137，Durbin-Watson d=2.09706

标准化回归方程：
标准化变量系数
std(xi)的表达式:
1236.148190std(x1)
std(x1)=(x1-148.2759)/161.0386
1765.393344std(x2)
std(x2)=(x2-18163.2353)/21278.1105
1238.704012std(x3)
std(x3)=(x3-4480.6182)/4906.6421
1291.872390std(x4)
std(x4)=(x4-106.3176)/107.9542
205.526701std(x5)
std(x5)=(x5-5.8935)/1.5841

主成分回归方程：
y=-834.761535+7.676100x1+0.082968x2+0.252455x3+11.966861x4+129.745739x5
样本号
观察值
拟合值
误差
1
566.52000
401.26733
165.25267
2
696.82000
1022.80963
-325.98963
3
1033.15000
513.94920
519.20080
4
1603.62000
937.46236
666.15764
5
1611.37000
1536.62045
74.74955
6
1613.27000
1694.68043
-81.41043
7
1854.17000
1743.80506
110.36494
8
2160.55000
1756.55935
403.99065
9
2305.58000
3060.52759
-754.94759
10
3503.93000
5696.77520
-2192.84520
11
3571.89000
3233.52582
338.36418
12
3741.40000
3931.67223
-190.27223
13
4026.52000
4638.18570
-611.66570
14
10343.81000
8844.73273
1499.07727
15
11732.17000
11753.50015
-21.33015
16
15414.94000
14417.03717
997.90283
17
18854.45000
19451.04692
-596.59692