一元线性回归模型与多元线性回归模型对比.doc

一元线性回归模型
多元线性回归模型
总体回归函数

即
总体回归模型
（总体回归函数的随机表达形式）

即
样本回归模型
（样本回归函数的随机表达形式）

即
样本回归函数

即
给定一组容量为n的样本则，上述式子可以写成：
给定一组容量为n的样本，
则上述式子可以写成：
总体回归函数

总体回归模型

样本回归模型

样本回归函数

样本回归函数的离差形式

解释变量的个数（包括常数项）
2个： C，X
k+1个： C，
基本假定

假设1：
回归模型是正确设定的。
模型设定正确假设。
假设2：
确定性假设。解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。:
确定性假设。解释变量是非随机或固定的，且各之间不存在严格线性相关（无完全多重共线性）。

假设3：

① 样本变异性假设。对解释变量X抽取的样本观察值并不完全相同。
② 样本方差趋于常数假设。
①样本变异性假设。
各解释变量在所抽取的样本中具有变异性。
② 样本方差趋于常数假设。
随着样本容量的无限增加，各解释变量的样本方差区域一个非零的有限常数。

假设4：
随机误差项μ零均值、同方差、不序列相关假设。
随机误差项μ零均值、同方差、不序列相关假设。
假设5：
随机误差项与解释变量不相关。
随机误差项与解释变量不相关。
假设:6：
正态性假设。随机项服从正态分布。
正态性假设。随机项服从正态分布。
参数估计
一元线性回归模型
多元线性回归模型
普通最小二乘估计（OLS）
残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值：
(普通最小二乘估计的离差形式)
随机干扰项的方差的估计量

残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值

(普通最小二乘估计的离差形式)
随机干扰项的方差
最大似然估计(ML)
矩估计（MM）
参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量与OLS不同

参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量
参数估计量的性质
线性性、无偏性、有效性
线性性、无偏性、有效性
参数估计量的概率分布

---
样本容量问题
----
样本容量n必须不少于模型中解释变量的个数（包括常数项），即才能得到参数估计值，时t分布才比较稳定，能够进行变量的显著性检验，一般认为活着至少时才能满足模型估计要求。如果样本量过小，则只依靠样本信息是无法完成估计的，需要用其他方法去估计。
统计检验
一元线性回归模型
多元线性回归模型
拟合优度检验
总离差平方和的分解
TSS=ESS+RSS
，越接近于1，拟合优度越高。
总离差平方和的分解
TSS=ESS+RSS
，（即总平方和中回归平方和的比例）
对于同一个模型，越接近于1，拟合优度越高。
（调整的思路是残差平方和RSS和总平方和TSS各自除以它们的自由度）
为什么要对进行调整?解释变量个数越多，它们对Y所能解释的部分越大（即回归平方和部分越大），残差平方和部分越小，越高，由增加解释变量引起的的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度， 就不是一个合适的指标，必须加以调整。
方程总体显著性检验
------
目的：对模型中被解释变量与解释变量之间的线性关系在总体上是否成立做出判断。
原假设H0:β1=0，β2=0，…βk=0
备择假设：H1：βjj=1,2,…k不全为零
统计量的构造：F=ESSkRSS(n-k-1)~F(k,n-k-1)
判断步骤：①计算F统计量的值
②给定显著性水平α，查F分布的临界值表获得
Fα(k,n-k-1)
③ 比较F与Fα的值，
若F>Fα,拒绝原假设，认为原方程总体线性关系在1-α的置信水平下显著。
若F≤Fα，接受原假设，不能认为原方程总体线性关系在1-α的置信水平下显著。
变量的显著性检验
目的：对模型中被解释变量对每一个解释变量之间的线性关系是否成立作出判断，或者说考察所选择的解释变量对被解释变量是否有显著的线性影响。针对某解释变量Xj，
原假设:H0:βj=0,备择假设：H1:βj≠0
最常用的检验方法: t检验
构造统计量:t=βj-βjSβj ~ t(n-k-1)
判断步骤：①计算t统计量的值
②给定显著性水平α，查t分布的临界值表获得
tα2(n-k-1)
③比较t值与tα2的值，
若t>tα2,拒绝原假设，认为变量Xj在1-α的置信水平下通过显著性检验（或者说，在α的显著性水平下通过检验），认为解释变量Xj对被解释变量Y有显著线性影响。
若t≤tα2，接受原假设，在显著性水平α下没有足够证据表明Xj对Y有显著线性影响。

参数的置信区间
目的：考察一次抽样中样本参数的估价值βj与总体参数的真实值βj的接近程度。
思路：构造一个以样本参数的估计值βj为中心的区间，考察它以多大的概率包含总体参数的真实值。
方法：①预先选择一个概率α（0<α<1），使得区间βj-δ，βj+δ包含参数真值βj的概率为1-α即Pβj-δ≤βj≤βj+δ=1-α
②计算其中的δ（δ=tα2×Sβj），从而求出1-α置信度下βj的置信区间：（βj-tα2×Sβj，βj+tα2×Sβj）
掌握概念：置信区间 置信度 显著性水平
实际应用中，我们希望置信度越高越好，置信区间越小越好（说明估计精度越高）。
如何缩小置信区间？
（1）增大样本容量n（以减小tα2，并减小参数估计值的样本方差Sβj）
（2）提高模型的拟合优度（以减小残差平方和，从而减小Sβj）
（3）提高样本观测值的分散度（样本值越分散，cjj越小，Sβj越小）