双变量回归模型.doc

双变量回归模型
一个人为的例子

l 研究每周家庭消费支出Y对可支配收入X的关系。
l 将家庭划分为收入差不多的10组。

每周家庭收入（美元）

X
80
100
120
140
160
180
200
220
240
260
Y

55
65
79
80
102
110
120
135
137
150

60
70
84
93
107
115
136
137
145
152
每
周
65
74
90
95
110
120
140
140
155
175
家
庭
70
80
94
103
116
130
144
152
165
178
消
费
75
85
98
108
118
135
145
157
175
180
支
出
-
88
-
113
125
140
-
160
189
185

-
-
-
115
-
-
-
162
-
191
总
计
325
462
445
707
678
750
685
1043
966
1211

l 表格给出了以 X的定值为条件的Y的条件分布。
l 计算给定X的Y的概率 ，即P（Y/X）。
l 计算条件均值，即E（Y/X=）
l 作图
l 平均的说，随着X 的增加，Y也在增加。

l 条件均值落在一根有正斜率的直线上，总体回归线（population regression line）, Y 对X 的回归。
l 对每一个都有Y值的一个总体和相应的均值，回归线是穿过了这些条件均值的线。

总体回归函数（PRF）的概念

l 图中看到，每一条件均值E（Y/）都是的一个函数，并且是线性函数。

l 和是未知但固定的参数，被分别称为截距和斜率参数。

“线性”一词的含义

l 对变量为线性
非线性的例子：
l 对参数为线性
非线性的例子：
l 本课程中，只对参数是线性的。

PRF 的随机设定

l 随着家庭收入的增加，家庭消费平均的说也增加。
l 但某一个别家庭的消费支出却不一定。
l 个别家庭的消费支出聚集在收入为Ｘｉ的所有家庭的平均消费支出的周围。

l E(Y/Xi)代表相同收入水平的所有家庭的平均消费支出，称为系统性（systematic）成分，ｕｉ称为随机或非系统性(non-systematic)成分。
l 假定E(Y/Xi)是对Ｘｉ为线性的，则

l

随机干扰项的意义

１． 理论的含糊性
２． 数据的欠缺
３． 核心变量与周边变量
４． 人类行为的内在随机性
５． 糟糕的替代变量
６． 节省原则
７． 错误的函数形式

样本回归函数

l 以上讨论局限在与Ｘ值相对应的Ｙ值总体
l 现在我们考虑抽样问题
样本：
Ｙ Ｘ
７０ ８０
６５ １００
９０ １２０
９５ １４０
１１０ １６０
１１５ １８０
１２０ ２００
１４０ ２２０
１５５ ２４０
１５０ ２６０
l 我们能从样本预测整个总体中对应于选定Ｘ的平均每周消费支出Ｙ吗？
l 从Ｎ个不同的样本会得到Ｎ个不同的ＳＲＦ，并且这些ＳＲＦ不大会是一样的。
l 能不能设计一种规则使ＳＲＦ尽可能的“接近”ＰＲＦ

l 样本回归函数（sample regression function, SRF）

l SRF 随机形式：

l 回归分析的主要目的是根据来估计
l 图形
Ｙ

Ｘｉ

Ｘ

ＳＲＦ
ＰＲＦ
Ｅ（Ｙ／Ｘｉ）

普通最小二乘法

l
l 选择一个ＳＲＦ，使得残差和尽可能小（图）
l 但正负残差可以相互抵消
l 最小二乘准则是要定出ＳＲＦ使得：

消费-收入的例子中，估计到的结果：

- OLS 估计量是由可观测的量（X和Y）表达的，因此这些量是可以计算的
- 这些量是点估计量

l 回归线的性质：
１． 它通过Ｙ和Ｘ的样本均值。　
２． 估计的Ｙ（＝）等于实测的Ｙ均值
３． 残差的均值为零。
４． 离差形式
５． 残差和预测的Ｙｉ值不相关
６． 残差和Ｘｉ不相关

最小二乘法的基本假定

l 回归分析的目的是从和推断和
l 需要对Ｙｉ的产生方式作出某些假定。

经典线性回归模型（ＣＬＲＭ）１０个假设：
１． 线性回归模型。回归模型对参数是线性的。　

２． 在重复抽样中Ｘ是固定的即假定Ｘ是非随机的。

３． 干扰项ｕｉ的均值为零，即ｕｉ的条件均值为零，

围绕均值分布，正负相抵，u对Y没有影响。
４． 同方差性或ｕｉ的方差相等。

Homoscedasticity and Heteroscedasticity (图形 )
方差随收入增加而增加，富裕家庭的方差大，可靠性则越来越小。

５． 各个干扰项之间无自相关。

无序列相关，正相关，负相关。（图形）

６． Ui和Xi的协方差为零。

- 干扰u和变量X是不相关的
- 因为如果u和X相关，就不可能评价它们各自对Y的影响。

7. 观测次数n 必须大于待估计的参数个数。换言之，观测次数必须大于解释变量的个数。

8．X值要有变异性
变量一定要变！

９． 正确的设定了回归模型
- 模型应该包括哪些变量
- 模型的函数形式为何？
（Phillips Curve model）
１０． 没有完全的多重共线性。

以上假定都是关于ＰＲＦ的，而不是关于ＳＲＦ的，但OLS估计量的一些性质和关于PRF的假定相类似。如和，和，但SRF不复制对CLRM的全部假定，如

● 这些假定有多真实？
- 假定是为了便于我们逐步开展我们的主体研究
- 便于在以后的篇章里深入的分析复杂的情况。

最小二乘估计量的特性：高斯马尔可夫定理

OLS估计量，是的最优线性无偏估计量（Best Linear Unbias Estimator – BLUE）
● 线性的，无偏的，有效的（公式，图）

最小二乘估计量的精度或标准误差

估计量随着样本不同而不同，用什么衡量精度？

为ｕｉ的方差，由以下公式计算：

其中是真正的但未知的的ＯＬＳ估计量。ｎ－２为自由度。则表示残差平方和（ＲＳＳ）。兼代表ｕｉ和Ｙｉ的（条件）方差。　

l 的方差与成正比，而与成反比
l 的方差与和成正比，而与和样本大小ｎ成反比。　
l 和之间可能相互依存

和之间的协方差与的符号有关，如果是正的，那么协方差是负的，这时若被过高估计，将会被过低估计。　

Ｕｉ的正态性假定

l 以前假定Ｕｉ的期望值为零，之间不相关，方差不变。ＯＬＳ估计量BLUE。
l 如果进行假设检验，必须知道Ｕｉ的分布，从而得知β的分布。
l 除了以前的假定，

NID – normally and independently distributed

为什么设为正态分布？
- 中心极限定理为Ｕｉ的正态性假定提供了理论依据
- 即使变量个数并不是很多或这些变量不是严格的独立分布，它们的总和仍可视为正态分布。
- Ｕｉ为正态，和也都应该是正态的。
- 正态分布比较简单

正态假定下ＯＬＳ估计量的性质

● BLUE
● 一致性（consistency）
● 是正态分布的

所以
服从标准正态分布
● 是正态分布的

所以
服从标准正态分布

● 和在整个无偏估计类中，无论是线性的还是非线性的，都有最小方差 – 不同于Guass-Markov 定理。
● 遵循 n-2 个自由度的分布
● （，）的分布独立于。