第八讲多元线性回归模型(二).doc

第八讲 多元线性回归模型（二）

本讲讲述三个问题：最小二乘估计的统计特性、随机扰动项的方差的估计和估计量的分而特性。
一 最小二乘估计的统计特性
1 线性性。所谓线性性是指总体回归系数的估计量是应变量的线性函数。从最小二乘估计量的表达式知线性性是显然的。
2 无偏性。即

因

即

所以，即无偏性成立。
3 有效性。在所有线性无偏估计量中，最小二乘估计量具有最小方差。
为证明最小二乘估计量的有效性，先求的协方差矩阵

再设的另一线性无偏估计量为，其中，A是一个矩阵。则由

得

和

令，则，，代入上式，得

在上式中，由于是一个非负定矩阵(的二次型是)，即
是一个非负定矩阵，这说明，的主对角线上的表示各回归系数的线性估计量的元素，大于或等到于的主对角线上的相应元素。可见，在所有线性无偏估计量中，最小二乘估计量具有最小方差。
综合以上性质得高斯—马尔可夫定理：对满足经典假设1-4的多元线性回归模型，其回归系数的最小方差线性无偏估计量是最小二乘估计量。

二 随机扰动项方差的估计
由于回归系数的最小二乘估计的方差与随机扰动项的方差有很大的关系，所以根据样本资料估计随机扰动项的方差也就很有必要了。为此，先考虑残差向量

其中称为最小二乘基本等幂矩阵，它是一个矩阵，它具有 对称性()，等幂性()，而且与解释变量不相关()。这些性质通过简单矩阵运算即可得到。
再考虑残差平方和的数学期望

故

这说明随机扰动项的方差的一个无偏估计量为

三 估计量的分布特性
定理1：样本回归系数向量服从数学期望为向量，协方差矩阵为的多元正态分布。即

定理2：服从自由度为的分布，而且与相互独立。证明之。
首先证明服从自由度为的分布，即证明

由于对称等幂矩阵的秩等于它的迹，而最小二乘等幂矩阵M是对称的等幂矩阵，根据式便知最小二乘等幂矩阵的迹为，所以它的秩为。
又由于对称的等幂矩阵的特征根不是1就是0，故存在正交矩阵C，使得,其中是一个主对角线上前个数为1，其它位置上的元素都为0的对角矩阵。
将代入中，得

令，则

其中是将作正交变换后的结果。
根据，，以及
得也服从数学期望为零，协方差矩阵为的正态分布，从而其分量服从数学期望为零，方差为的正态分布，而且由于不同分量的协方差为零，所以不同分量是相互独立的。
故为个相互独立的标准正态分布的平方和，根据分布的定义，服从自由度为的分布。
其次，关于与相互独立的问题，可由下式验证。

可见，残差与回归系数的最小二乘估计是相互独立的，从而作为残差的函数的与回归系数的最小二乘估计也是相互独立的。

6