逐步回归分析计算法.docx

前面我们介绍了通过回归的基本思想是将变量逐一引入回归方程，先建立与y相关最密切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，…。在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工作，利用所选变量建立多元线性回归方程。为实现上述思想，我们必须在解方程组的同时，求出其系数矩阵的逆矩阵。为节约内存，计算过程中在消去xk时用了如下变换公式——求解求逆紧凑变换。
 一、求解求逆紧凑变换
 求解求逆紧凑变换记作Lk，其基本变换关系式为：
(2-3-30)
    当对(2-3-27)的增广矩阵
(2-3-31)
    依次作L1，L2，…，Lm-1变换后，所得矩阵的前m-1列，便是系数矩阵的逆矩阵，最后一列便是(2-3-27)的解，即

    求解求逆紧凑变换具有以下性质：
(1) 若对 作了Lk1, Lk2，…，LkL变换，则得如下子方程组
(2-3-32)
    的解及相应的系数矩阵的逆矩阵，其中k1,k2,…,kl互不相同，若记 Lk1Lk2…Lkl ，则
(2-3-33)
  ,j=1,2,…,l
(2) LiLj =LjLi ，即求解求逆紧凑变换结果与变换顺序无关。
(3) Lk Lk =
(4) 若 ，ij=1,2,…,m-1,记
    Lk1Lk2…Lkl
      则 中的元素具有以下性质：

式中上行为对 作了变换Li，Lj或两个变换均未作过；下行为对 作过变换Li和Lj之一。
二、逐步回归的计算过程
逐步回归计算过程就是反复对增广矩阵 作Lk变换，并利用变换性质将选变量与作检验等步骤结合起来。
为了检验方便，对 再增加一行，使其变成对称方阵，并记作R(0),即
(2-3-34)
选变量具体步骤如下：
   1．选第一个变量
选第一个变量就是从m-1个一元线性回归方程
(i=1,2,…,m-1) (2-3-35)
    中找一个回归平方和最大的方程。这里为了符号明确起见，以 记作回归系数，上标(1)表示第一步计算。
由变换性质1可知，对R(0)作了Li变换后，有
(2-3-36)
                        （2-3-37）
    因此Zi的偏回归平方和为
(2-3-38)
    由第二章偏回归平方和的意义可知，此一元线性回归方程对应的剩余平方和为
(2-3-39)
    从而对ZI的系数作显著性检验的F比是
(2-3-40)
    由于 是 的单调递增函数，故要找 i=1,2,…,m-1的最大值，只要找出 i=1,2,…,m-1的最大值即可。
设

    则只需对VK1(1)计算Fk1(1)，对给定的α，当Fk1(1)>Fα(1,n-2)时，引入变量Zk1。
 引入第一个变量的步骤可总结如下：
    （1）对i=1,2,…,m-1，计算

     （2）令

     （3）计算

     （4）若F1(1)>Fα(1,n-2)，引入变量Zk1，对R(0)作Lk1变换，且记
R(1)＝Lk1R(0)＝
    2．选第二个变量
这一步相当于从m-2个方程
i=1,2,…，m-1, i≠j (2-3-41)
中去选一个方程出来，使加入的Zi具有最大的偏回归平方和。由变换性质1可知，这时需对R(0)作Lk1变换，故不论选那个方程，均需对R(0)作Lk1变换，因而引入Zk1后就已作好这一变换。与选第一个变量相似，这一步的计算可如下进行：
      （1）对i=1,2,…,m-1, 计算

      （2）令

      （3）计算

      （4）当F1(2)>Fα(1,n-3)，引进变量Zk2，并对R(1)作变换Lk2，且记R(2)= Lk2 R(1) = ；如果F1(2)<Fα(1,n-3)，则选变量工作结束，这时只能建立一元线性回归方程。
    3 .当引入第二个变量Zk2后，需对原已引入的变量Zk1的显著性重新作检验。
由于已对R(0)作了变换Lk1, Lk2，故从R(2)可直接写出二元线性回归方程：
(2-3-44)
    此时Zk1的偏回归平方和为
  (2-3-45)
    此二元线性回归方程的剩余平方和为
(2-3-46)
    因而对Zk1作检验的F比为
(2-3-47)
    若F2(2)>Fα(1,m-3)，则保留，可进一步考虑选入新变量；若F2(2)<Fα(1,n-3)则应剔除Zk1，即只需要建立含Zk2的回归方程。根据变换性质2和3可知，为此只要对R(2)作Lk1变换即可。
 综上所述，这一步的步骤是：
      （1）       计算
      （2）       计算
      （3）       若F2(2)>Fα(1,n-3)，则考虑引入第三个变量；若F2(2)<Fα(1,n-3)，则对R(2)作变换Lk1
    4． 一般地，假设经过l步变换后引人了变量Zk1Zk2…Zkl，紧接着又引入了Zkl+1，其中k1k2…kl+1互不相同，而R(0)经过Lk1，Lk1，…，Lkl＋1后变成

    接下去我们需对原已引入的变量Zk1，Zk2，…，Zkl重新检验，看有无需剔除的，步骤如下：
     （1）       计算 ,j=1,2,…l (2-3-48)
     （2）       令 ;
     （3）       计算 (2-3-49)
     （4）       若 ，则对R(l+1)作变换Lk，重新考虑还有无其他变量要剔除；若 ，则接下去考虑能否引入新变量。

引入新变量步骤如下：
     （1）       计算 , (2-3-50)

     （2）       令

     （3）       计算 (2-3-51)
     （4）           若 ，则对R(l+1)作变换Lk，再考虑旧变量是否要剔除；若 则结束选变量的工作。
 如果选上Zk1，Zk2，…，Zkl变量后，没有变量可剔除，也没有变量可引入，且R(0)经过变换Lk1，Lk2，…，Lkl后变成R(l)=( )，则此时可求出y关于xk1，xk2，…，xkl的回归方程。按(2-3-24)式：
(2-3-52)

    从而得回归方程

    此方程对应的
(2-3-53)
    复相关系数:
(2-3-54)
    三、举例
    例 2-3-1表是某种水泥凝固时放出热量(卡/克)与水泥四种成分: 3CaO•Al2O3(x1)、3CaO•SiO2(x2)、4CaO•Al2O3•FeO3(x3)、2CaO•SiO2(x4)含量(%)测定结果，现在我们用逐步回归法建立其关系式。
    表2-3-1 某种水泥凝固时放出热量(卡/克)与四种成分关系

    首先我们计算各变量的平均值 （其中 记作 ）并由（2-3-16）式计算偏差平方和的算术根σi (i=1,2,3,4,5)，结果列于下表：

    由(2-3-26)式计算出相关系数矩阵：R(0)=

    下面进行选变量与作检验：
    第一步：l=0（这里l表示开始时计算方程中所含变量的个数）；
    首先用(2-3-38)式计算四个变量的偏回归平方和 , i=1,2,3,4
得：

即
    对其作F检验。由(2-3-40)式

    故可引入X4，对R(0)作L4变换，由(2-3-30)式，得R(1)=

    第二步：l=1
i=1,2,3计算 ,由(2-3-42)式得
,
即
    对其作F检验，由(2-3-43)式

    故可引入X1，对R(1)作L1变换，由(2-3-30)式得R(2)= 

    第三步：l =2
    由于引入新变量，需先对x4重新作检验，由(2-3-45)式得

    对其作F检验，由(2-3-47)式得

    故保留x4，继续引入新变量
    对i=2,3计算 ,由(2-3-50)式得

    对其作F检验，由(2-3-51)式

    故引入x2，对R(2)作L2变换：

    第四步：l=3
    由于引入了x2，故需对x1,x4重作检验，首先由(2-3-48)式对i=1,4计算

(j=1,4)
故对 作F检验，由式(2-3-49)得

    故剔除x4，对R(3)作L4变换，得

    第五步：l=2
由于剔除了x4，现在方程中只有x1和x2两个自变量。是否还需要剔除；需要作进一步检验，对i=1,2计算 。由(2-3-48)式，得

    其中 最小，故对它作F检验。由(2-3-49)式

故无变量剔除。
注意，在这一步的剔除检验中所用l实际为l-1。
再考虑能否引入新变量，计算 (i=3,4)由(2-3-50)得

    这里 较大，但它刚被剔除，不能引入，至此挑选变量工作结束。
    下面建立回归方程

    由(2-3-52)式

    最终得回归方程

    由(2-3-53)式可得此方程的各类平方和

    由(2-3-54)式复相关系数为