高斯—牛顿迭代法.doc

高斯牛顿法
高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯—牛顿法的一般步骤为：
(1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。
(2)泰勒级数展开式。设非线性回归模型为：
i=1,2,…,n (3-68)
其中r为待估回归系数，误差项 ～N(0, )，设：
，为待估回归系数的初始值，将(3-68)式在g点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导数项，得
(3-69)
将(3-69)式代入(3-68)式，则
移项：
令：
则： i=1,2，…，n
用矩阵形式表示，上式则为： (3-70)
其中：
(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B，
则： (3-71)
设g为第一次迭代值，则：
(4)精确度的检验。设残差平方和为：
，S为重复迭代次数，对于给定的允许误差率K，当时，则停止迭代；否则，对(3-71)式作下一次迭代。
(5)重复迭代。重复(3-71)式，当重复迭代S次时，则有：
修正因子：
第(S+1)次迭代值：
四、应用举例
设12个同类企业的月产量与单位成本的资料如下表：
表3-9 间接代换法计算表
企业编号
单位产品成本（元）
月产量
1
2
3
4
5
6
7
8
9
10
11
12
160
151
114
128
85
91
75
76
66
60
61
60
10
16
20
25
31
36
40
45
51
56
60
65
(注：资料来源《社会经济统计学原理教科书》第435页)
试配合适当的回归模型分析月产量与单位产品成本之间的关系。
解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型：
对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：
则上述指数模型变为：
对分别求反对数，得，带入原模型，
得回归模型：
高斯—牛顿迭代法
初始回归模型：
残差平方和：
（2）泰勒级数展开式。先对指数模型 中的a和b分别求偏导数。
然后用泰勒级数展开指数模型，移项整理得(注：参见(3-69)、(3-70)式)：
160-150.5866 0.82545 1535.0316
151-134.2148 0.73571 2189.0282
114-124.3015 0.68137 2534.1796
128-112.9332 0.61905 2878.0110
85-100.6550 0.55175 3180.7400 a
91- 91.4493 = 0.50128 3355.9387
75- 84.6948 0.46246 3453.4052
76- 76.9488 0.42180 3529.7593 b
66- 68.5829 0.37594 3565.4701
60- 62.3104 0.34156 3556.9658
61- 57.7081 0.31633 3529.5468
60-52.4302 0.28740 3473.9702
(3-72)
(3)估计修正因子。解(3-72)式矩阵，得：
a 12.09660288
=
b －0.00180342
第一次迭代值：
a1 a0 a 194.5266
= + =
b1 b0 b 0.9792
第一次迭代回归模型：
(4)精确度的检验。残差平方和：
给定误差率K=10,则：
作下一次迭代。
(5)重复迭代。
将 a1 代入(3-71)式作第二次迭代。得估计修正因子：
b1
a 0.647654043
=
b －0.000066948
第二次迭代值：
a2 a1 a 195.1743
= + =
b2 b1 b 0.9791
第二次迭代回归模型：
残差平方和：
误差率：
误差率达到要求，停止迭代。表3-10计算结果比较

最小平方法
一次迭代
二次迭代
回归系数a
182.43
194.5266
195.1743
回归系数b
0.981
0.9792
0.9791
残差平方和SS R
1124.1526
999.4077
999.1241
误 差 率 %
—
12.482
0.028
相关指数R
0.95937
0.96396
0.96397
从上表可看出：高斯—牛顿迭代法具有收敛快，精确度高的优点，二次迭代就使精确度高达99.97%，相关指数也明显提高。理论上可以证明高斯—牛顿迭代法经过数次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。