第一章_传统观点下的多元线性回归模型回顾.doc

Ch1.传统观点下的多元线性回归模型回顾
1. 问题的提出
我们认为，要关注的结果与个因素有关，。（其中是截距项，一个量纲标准化的单位指标，它消除加上常数平移的影响，即凡是对Y产生水平效应的因素都纳入到中。）例如：已婚工作妇女的工资（log wage）与工作经验（exper）、工作经验的外在性作用（）、受教育程度（educ）、该妇女的年纪（age）、家庭少于6个孩子（kidslt6）以及家庭中孩子至少6岁以上的个数（kidage6）有关选取变量时背后有很严密的逻辑。Kidslt6与kidage6这两个变量的选取是为了考察其对工资是否显著
，并建立如下的模型：
1、 为什么要加上β0?(确保回归线不用非得穿过原点；水平的变化的总效应反应为β0；一般情况下如没有特殊要求，为了消除水平变化的总效应需要设定一个β0，这样没有任何坏处。
2、 加exper2是什么意思？（数学上：回归线可以不一定是线性的；经济学意义上：exper的不可忽视的正的外在性作用，用平方比较简单明了）
3、 工资前面为什么取对数？（两边求导Δwage/wage=βkΔXk能比较容易得出增长率的变化）
对上述模型，我们做如下说明：
a. 关于命题：
1. 要关注的结果：已婚工作妇女的工资。一般的讨论工资是理论问题，而讨论已婚工作妇女的工资则是计量问题。计量后面可以说明说明是经济解释，它可以是多种多样的。
2. 影响结果的因素：自身的经验、教育、年令和孩子的年龄与多少，其中还有自身经验正的外在性作用。
注：1.结果与哪些因素有关不是绝对的，例如在中国影响工资的一个重要因素是所在行业，
另外城市、农村和社会关系的背景也是不可忽视的，等等。
命题与你的目的和知识相关，并且命题要求表述得越清楚越好。要求命题的表述越清楚、目的越明确越好

b. 关于模型：
模型是命题的数学表达，是命题的深化、细化和抽象化。从命题到模型是一个不断提炼的过程。建立一个“好”的模型，取决于我们对命题认识的深入程度和相关知识的储备。
一般而言，多元线性回归模型的基本框架是：假设与有因果关系。如果观测的数据来源是：，且存在单调连续函数，使得：
，，此处为单调变换？
。
那么，定义多元线性回归模型：。
即：，称是关于未知参数的多元线性回归模型。这里是随机误差项，称为解释变量，是确定性变量，有经济含义。称为因变量或被解释变量。
线性模型的类型主要有：
1) 多项式模型：
或
例如，库兹涅茨倒U形曲线和拉弗曲线等。
2) 对数线性模型：
（增长率之间存在因果关系，例如生产函数。）
3) 倒数线性模型：
或
（因果呈反向关系，如菲利普斯曲线）
4) 指数线性模型：
（原因是影响增长率的因素，例如上例）
5) Logit线性模型：
（因果呈慢，快，慢的变化趋势，并有饱和）
如图：

6) 虚拟变量（Dummy Variable）模型：
解释变量中有些变量变化是“不均匀”的，观测数据在不同时段或不同地区不同行业或不同政策等之下有明显不同的特点。在散点图上，表现为某个解释变量或整体上与因变量有跳跃或转折现象。如图：

解决办法是引入虚拟变量。它是针对某些解释变量的“不均匀”而设。
设D是虚拟变量，则D描写的是一种状态，只取1或0为值。1表示受到某种因素影响，0表示没有受到影响。
例如：中，截距受到影响，D对Y有整体影响。
又，中，的斜率受到了影响，即D对的影响导致对的影响，影响斜率。
例如，在上例中对已婚妇女的工资可引入行业的虚拟变量。1国有企业，0 非国有企业。
注：1。如果的影响是时间特征，则不宜采用虚拟变量。且虚拟变量不宜大量采用。
2．经过变换后的数据，参数的含义是不一样的。例如，就是增长率变化的
边际效果，又如果，则就是弹性系数。
3．模型设定是一个非常“艺术”化的东西，准确的设定模型，合理的选择变量，能使模型
反映的经济意义更细致、更明显、解释力更直接。这是一门需要在实践中不断摸索和积累的
“艺术”。
以后，我们总假定从命题到模型可以标准化为如下形式，简称为基本模型：

建立该模型的基础理论我们在第二章中说明，要提醒的是，不是所有因果关系都可以写成上述的多元回归模型的形式。
2. 传统观点下基本模型的假定
基本模型是因果关系最简单的量化表述。形式上它由两部分构成，一部分是确定性关系，由表达；另一部分是不确定性关系，由表达。其中是未知参数，在不同的模型假定中有不同的内在含义。一般，指的是因素对结果的边际贡献，没有特定的经济含义，它是各种水平因素的总效应。
关于解释变量，传统观点假定是确定性的变量，而且对的观测是准确的，对没有任何随机性影响。因此，任何两个或多个解释变量之间没有线性相关关系，且解释变量和误差项也没有线性相关关系。这种传统观点蕴含着对解释变量是可控的，甚至样本的观测也可是预先已知的。因此，没有必要考虑估计和检验的渐近性质。
假设我们可以对观测N次，把所有观测排成一个矩阵（加上常数截距项）。

称为观测矩阵。
那么，对样本观测矩阵传统观点假定，（1）秩，即列满秩。且（2）。
注：从样本意义上看，列满秩不意味样本协方差仅是要求解释变量不是完全线性相关的。且不意味它们就没有其它的非线性关系。又因为是任意正整数，以后任意与任意不加区分。
关于误差项，随机并不是全部无知，这里随机项反映的是环境和各种不可预料的因素对产生的影响。因为解释变量是可控的，可以认为随机误差不影响，且对的影响是一个小量。又模型一般设定有中心化常数项，各种不可控的水平（平均）影响都可放到常数项上。故可设，, 一般情况下是未知的。传统观点进一步假定， 。所以抽样后服从多元正态分布，。
关于样本统计量，对解释变量进行N次观测得到的值就是样本。的的抽取传统观点假定是独立的，而事实上在许多情况下，独立性往往办不到，样本有时有群集效应、层次效应、串效应，有时为了某种特殊目的会有意识的选择相关的样本，等等。这些特殊样本的问题正是计量经济学要面对的问题，数据是什么样就是什么样，是不能随意假定的。我们将从第二章开始在现代观点下介绍处理各种特殊样本的方法。显然，抽取的样本越多，与的关系表现得就越明显。但是若不对样本进行整理加工，大量数据的堆积并不能看出与之间的因果关系。我们需要对样本做一些加工，提炼出某些有用的信息，这些信息称为样本统计量或样本函数。下面是一些直接常用的样本统计量。
给样本值，定义：
（1）样本均值
（2）样本方差（样本标准差的平方）
（3）样本协方差
样本相关系数
（4）样本k阶矩
（5）样本k阶中心矩
（6）样本顺序统计量和极差统计量
（7）偏度
（8）峰度
（9）中位数 n为偶数，或 n为奇数
随着问题的不断深化，特别在假设检验中，我们将引入更多的样本统计量。
最后，简单提一下有关样本大数定律和几个重要分布。
如果和分别是取自母体的独立样本，那么当，由大数律，，，，，等等。
三个与正态样本相关的统计分布是：
1）分布
独立，则；
2）分布
且两者独立，则；
3）分布
且两者独立，则。
3. 基本模型下的基本问题
多元线性回归模型的任务是：通过样本，
1）给出未知参数和的估计；
2）给出有关及其相关线性组合和方差的统计检验。
1.估计问题的提法
任意取定观测矩阵和因变量观测值，设为样本的函数。称为的拟合值，为残差值（残差向量），为残差平方和。问题的提法是什么样的样本函数能使得残差平方和最小？即？（注：也用SSR表示残差平方和）
2. 的求解

这是一个多元函数求极值的问题。欲使RSS极小，则一阶条件是：
。
是一个对称矩阵，且
。
。 。
，是正定矩阵。(为什么？）
。
可逆，。称其为的普通最小二乘估计，记成。
最小二乘法的几何意义：
把理解成N维向量空间中的向量，向量张成一个维子空间K，最小二乘就是将Y投影到K—子空间上，并有，其中，。如图：

注：用样本函数拟合，使残差平方和最小只是一种标准，它的直观意义是明显的。但我们也可以选择另外一种标准，如使残差绝对值的和最小，即：，求。从技术上讲，我们还可以找一个多项式，把所有样本光滑的连接起来。但是这个多项式的系数就没有太多的经济意义。例如给样本则存在次多项式使得 。真正有意义的拟合和评价标准是建立在概率统计意义上的，有许多好的统计性质。
3. 的统计性质
（1），根据正态分布的线性变换定理：，则。由，故得：
。
。
。

是的无偏估计，且是的线性函数，服从正态分布。
（2）记，则。对，设，则代表了的任一线性估计。改写，
那么，。
。如果考虑让是的无偏线性估计量，则必须有，对于所有真值都成立。其充要条件是。因此满足，就代表了的任一线性无偏估计量。

， 故。

。
注意到是一个半正定矩阵，所以主对角线上元素。
当且仅当时，方差最小。（其中是中对角线上第个元素）这就是说，在真值的所有线性无偏估计类中，具有最小方差属性，即是有效的。
综上所述，是无偏线性估计类中的有效估计。（此称为高斯—马尔科夫定理）
注：1.对有偏的估计类，不一定是有效的。如存在多重共线性，又不能剔除解释变量，常采用岭回归，牺牲无偏性提高有效性。
2.除了无偏性、有效性外，还有一致性、稳健性等许多其他有统计意义的标准。在不同模型和要求下有特殊的意义。传统观点由于样本固定，一般不考虑一致性。这是与现代观点最大的区别。
3．的极大似然估计在基本模型假定下就是。（习题）
4.的无偏估计及统计性质
我们用命题的形式陈述有关未知参数的估计和性质，已备后用。
命题1：是未知方差的一个无偏估计。
又称为标准差。
证明：
（）容易验证，且。是一个对称幂等矩阵。有性质，特征根为0或1。。

。命题1得证。
命题2：服从自由度为的分布。
证明：由命题1知，
。
对称幂等，。
的特征根1的个数为。
又为实对称阵的，必可正交对角化，
存在正交矩阵，使得成立。
令 则。独立服从标准正态分布。

这是个独立标准正态分布之平方和。由分布的定义，
。命题2得证。
命题3：与的分布独立。实质是与独立。
证明：， 。
与都是的线性函数，故和都服从正态分布。
由多元正态分布的性质知，和相互独立当且仅当。事实上，

与独立。又是的连续函数，与独立。命题3得证。
把前述内容用框图示意如下：

4. 关于假设检验
请看例：
例：假定，观测样本为。
，。令，
用估计，并构造样本统计量。
有。如果命题为真，则。
查表得。当拒绝，认为不对，否则不能拒绝。
进一步，， 未知。
同样用估计，估计。如何构造统计量？

所以，若命题真，则统计量。查表得临界值。当时，拒绝，否则不能拒绝。
所以，假设检验问题的关键是：
1） 根据问题巧妙建立模型，恰当提出假设命题；
2） 寻求样本统计量，给出命题真时的统计分布或渐近分布。
其实，假设检验的思想很简单，困难在于找到合适的样本统计量在命题真时的统计分布。一般情况下，假设检验的命题常常归结为某个参数为零或部分参数为零的检验或未知参数线性组合的检验。此时，我们就可以直接应用数理统计中的结论。

1、为什么要检验？
模型中有大量的假定，这些假定是否合理？这些假定包括，变量的选择是否合理，随机误差的设定是否恰当，还有变量与误差不相关是否成立？等等。我们可以把这些假定归结为一些对未知参数的判断，如果这些判断基本正确或错误，那么从数据中就能够反映出来。假设检验是估计完成后对模型的设定做进一步的确认。拒绝原假设，意味着命题真时犯错误的可能性可控制在一定的范围内。
事后评价，模型中的假定是否合理？
完成估计并不能说明模型就是正确的，需要通过估计来验证模型中的某些设定能否得到数据的支持。
2、统计检验
二类：1、参数检验，分为单参数检验和整体检验；2、分布的检验（图形的检验，相对不重要）。
3、目的：有经济意义下的检验 统计检验 对参数的检验。
4、“程序”：提出命题 “文字表述” 参数的假设检验形式。
其中是参数空间，和是子集。备择命题是拒绝时所在的区域。（注意，，的选取会影响联合分布的形式从而影响统计量的分布。）
一般原命题，取确定的判断值，（有内在含义。）
是的否定。
假设检验命题需要回答：“在什么条件下拒绝？”
检验的思路：
如果有了估计，有了的分布，如果估计准确，；如果判断准确，应当是一个“小量”（即小概率事件），那么，小量如何测量？
注意，估计是样本的函数，但估计的分布则可能含有未知的参数，如，。
如果在已知和的前提下，能找到样本函数（这是随机变量），并已知其分布，那么，真成立的分布已知。于是，给一个概率值，并由的分布函数或密度函数求得临界值。如图：

给出标准，当拒绝，单边检验。
或，拒绝，双边检验。
什么意思？
“从拒绝”我们知道如下信息：与小量有关的样本函数超过了临界值，且这个小概率事件发生的概率最多是。这等价于说P（拒绝|真）< 。于是，犯第一类错误得到了控制。这个“标准”称为显著性检验，称为显著性水平，一般取值0.1、0.05、0.01。“拒绝”称为有统计显著性，意指数据有定量的概率把握不支持你的命题成立。故显著性检验是证伪的。
换一种思路。
有了计算机，又有了分布，我们可以方便的计算犯第一类错误的概率P（拒绝|真），称此为P值。设是已知的统计分布，那么，
P值=P（>）
∴ P值 >
（或 P值 < ）
∴ P值越大，越不能拒绝，或（P值越小，拒绝越有信心）。
拒绝与否，不再设定水平，确定临界值，而是取决你自己的标准。一般P值在0.1或0.05以下拒绝。
又因为给出P值比给出临界值在计算上要方便，故现在常采用。
产生一个问题。
如果判断不准确，于是用前述方法产生的第二类错误，即假，不能拒绝。这个错误是潜在的，是由于判断不对，后面的方法利用了“判断不对”的信息（假设命题真），导致的错误。
一般获取第二类错误的概率P（不能拒绝|假）是很困难的。因为假，一般不再是一个确定的值，无法得到分布。
为要获取第二类错误概率的信息，必须给出备择假设的确定的取值，于是，假，∴如果的样本函数分布已知，那么可求得P（不能拒绝|假），如图：

给出不同的，可以看到不能拒绝域的变化，或V值的变化。
定义：（不能拒绝|假），称V为检验的势。
（一般当回归效果特别好时，应当考察几个检验的势。但取哪些值要具体问题具体分析。）
要强调的是，“拒绝”并没有肯定什么东西！故不能以为的否定一定是对的。
如，不是影响的原因，拒绝，并不能肯定就是影响的原因（例如与相关）。但能“肯定”的是把作为的原因在统计意义上是不大的。（因为原命题是以否定的形式给出的。）
记住，显著性假设检验：“样本统计量> 临界值”，拒绝是证否的。
基本模型二类最重要的检验：
1、 单参数的检验，是不是影响的原因。
2、 整体和部分参数为0的检验，含义是整体上或部分整体上或部分是不是影响的原因。
假设检验在技术上的难点：
1、 命题真，构造样本统计量，并确定其分布或渐近分布（现代观点）。
2、 基于回归方法的检验。找到一种建立在回归方法基础上的检验方法，而不是直接给出样本统计量。

2.基本模型下的假设检验
1）的单参数检验
是否可以解释的变化，或者说它们是不是的原因？相应的假设检验命题是：
。（为截距项的参数。）
，
其中是中对角线上第个元素。
。
假设命题真，则。但是未知，这还不是一个样本统计量。
又知，，且与独立，。
由t分布的定义
服从自由度为的分布。
记称为的标准差，则。给显著性水平，查表得临界值。则就拒绝，否则不能拒绝。拒绝意味着在统计意义上可解释的变化，称统计显著。
注：1. 检验是基本模型必须进行的检验。不能拒绝意味着作为解释的原因实际意义不大；但拒绝并不意味着作为解释的原因意义一定就大，尤其值较小时，即但接近，需要作进一步的分析。
2. 单参数假设检验与区间估计是联系在一起的。不能拒绝的概率含义是：。即，的概率为。
称此为置信区间。所以，的标准差越大，越容易接受，但估计精度却降低。同时，注意到，如果未知方差是已知的，由分布的尖峰胖尾性质，故临界值比方差已知时要更远离0点些， 更容易被接受。这说明，信息越多（方差已知），满足命题的要求越严。例如，已知和估计比较，估计命题更难被拒绝。
2）的整体性检验
每个统计显著，并不意味着整体上对的影响显著。某些的作用有可能相互抵消。于是我们需要检验，，至少有某一不为零。或，至少有某一不为零。即整体参数为0和部分参数为0的检验。还有，某些参数要满足一定的制约关系。例如，生产函数一次齐次假定：。我们需要检验，，等等。
我们可以把上述的检验统一归结为有关判断未知参数的线性方程组的形式：。其中是一个矩阵，，是向量。例如推断，相应的。又如推断，则相应的（）等等。
注：未知参数的非线性推断和有关未知方差的推断不在讨论之列。如推断等等。
问题：如何检验？
显然，采用检验的方法不行了，依假设检验问题的提法，我们需要找到当命题真时的样本统计量及其分布。从假设检验的理论知，要对进行检验，先要对有一个估计。自然，用估计。
，由正态随机变量线性变换定理，。
。
命题4：的二次型服从自由度为的分布。
我们一般的证明，，，则。
，正定。且可逆。 。

服从标准正态分布，且分量独立。。
将代入立得的二次型服从自由度为的分布。
的分布尽管已知，但含有未知参数，故还不能成为样本统计量。
注意到命题2，服从自由度为的分布。故与都服从分布。若它们彼此独立，由分布的定义，我们就可以得到一个重要的统计量：
。
命题5：的二次型与相互独立。
证明：
，
其中。
又知。
只要证与相互独立。又由于与服从正态分布，
只要证。事实上，，
。命题5得证。
3.的统计意义
假设检验，如果命题真，那么模型的实质就是：
，于是方法在命题真下的实质是： 。
我们知道，在无约束条件下的估计为，那么有约束条件下的估计是什么？采用拉格朗日乘子法：

。
，代入到中，得：
，
，
。
为约束条件下的残差向量，
为约束条件下的残差平方和。
（注意：），又注意到统计量的表达式，

。再由命题4，最后得：
。
所以，统计量的统计意义是：
命题6：有线性约束条件下的与无约束条件下的的残差平方和所构成的残差形式的样本函数服从分布：
。
特别，当约束条件为。意即所选解释变量整体与没有因果关系。那么，原模型实质变成：，，
。 ，
，
， 。
这就得到了传统的拟合优度（决定系数）与统计量的关系。可以看出，是的增函数，是的减函数，且。所以，大致反映了原因整体上能否解释结果。
一般来讲，一个多元回归模型可以标准化为：

，，（有含时数据时用于检验序列相关性。）。
注：假设检验通过，即每个都统计显著，且并不能说明这就是一个好的回归模型。甚至有可能是伪回归。（犯第二类错误概率很大）但若某些统计不显著，或统计量偏小，DW值不接近2，那么这个回归模型肯定有问题。（通俗地说，“发烧”肯定病了，“不发烧”不一定就没有毛病。）

4. 检验的应用
检验有广泛的应用。这里仅举几例：
1）参数的稳定性检验
设同一模型，有两组独立不同的观测：
设有N次观测； 设有M次观测。
问：不同的独立观测对参数的估计是否有影响？即，原因对结果的定量关系是否稳定。相应的假设检验问题是：
即（）， 至少有一个。如何检验？
构造模型，令 ，
得到，取，
则，且。 得统计量：
。
这里是，。
知：
给水平，查表得，当不能拒绝，表示原因对结果的定量关系是稳定的。于是，可以将两次独立观测联合起来，构成更大的样本观测矩阵，从而得到更精确的估计。拒绝，说明两组观测有差异。我们在后面的面板数据中讨论。
特别，如果设定模型为：
有次观测； ； 有次观测。
构造 。 得。
至少有某一。
适当选取和，做检验。这就是单因素方差分析的内容。不能拒绝意味着因素不同水平对结果没有显著影响，拒绝意味着至少有一个水平对结果有显著性影响。
2）异常点的检验
模型中，如果残差向量有某些分量的残差与其它的分量相比相差很大，我们就称观测为异常点（观测）。如何检验数据是否异常？
分析：如果认为残差很大，那么就有理由认为模型设定不对，也就是。故设：

表示中的第行，是常数，意味着测量中其他因素造成的一种实质性的偏离。
将和按行进行适当的排列，可以构造模型：
。
要判断是不是数据异常点，相应的假设检验就是：
。
这就归结为模型中的系数部分为零的检验问题。故采用检验。这里， 的自由度？请学生自己考虑。
但这里更方便的办法是：
（1） 对做得和
（2） 对做得和
然后采用统计量的残差平方和形式，做检验。
注：1.一般异常点的数据量不宜太大，新构造模型的实质是把被怀疑的观测部分作为虚拟变量处理。
2.拒绝，认为是异常点还要具体问题具体分析。此时要特别细心，善于从差异中找到问题的原因所在。
3）模型设定的偏误检验
建立模型时，如果加入了不必要的解释变量，可以直接通过检验和检验将它们排除。但是，模型中一些该引入而没有引入的解释变量如何知道？办法是，加入一个或一些“替代变量”到模型中去。如果这些替代变量可以通过检验和检验，则可判断该模型遗漏了某些解释变量，称为RESET检验。
“替代变量”一般选择的拟合值的非线性多项式或其它函数形式。这可以通过残差与的散点图来大致判定。
例如：建立模型为
如果参数和能通过检验和检验。则说明模型遗漏了某些应加入的解释变量。这是因为、等与肯定是线性无关的。
注，RESET检验仅是能判断遗漏了某些解释变量，并不知道遗漏了什么解释变量。
4）格兰杰因果关系检验
如果和是时间序列数据，那么两个因素的因果关系逻辑上只有四种：
（1）是的原因，且不是的原因。
（2）是的原因，且不是的原因。
（3），互为原因。
（4），没有因果关系。
分析：因果关系在时间上有前后关系。所以，如果命题（1）真，那么的变化应当发生在的变化之前。所以，把过去发生的值加入到回归模型中将有助于显著的增加回归的解释能力。且的增加不应当有助于解释。其他亦如此。
设和的时间序列值为和，那么建立模型：

命题1。存在某一；
命题2。存在某一 。
对命题（1）—（2）的回答有：
（a）拒绝<1>，同时不能拒绝<2>，则是的原因，且不是的原因。
（b）拒绝<2>，同时不能拒绝<1>，则是的原因，且不是的原因。
（c）拒绝<1>，同时拒绝<2>，则是的原因，且是的原因。
（d）不能拒绝<1>且不能拒绝<2>，则，没有因果关系。
采用检验，统计量为。
其中表示有约束残差平方和，表示无约束残差平方和。经过两次检验，可知与之间是哪一种因果关系，称为格兰杰（Granger）因果关系检验。
注：滞后项的选择有时对结果的影响很敏感，不同的滞后期可能会得到不同的检验结果。办法是多进行几个不同滞后长度的检验。例如，滞后期选择使得模型中随机误差不存在序列相关性作为标准。格兰杰（Granger）因果关系检验是在建立模型时必做的检验，详见时间序列分析课程。
6.基本模型的诊断与修正
从实际应用的角度看，测量矩阵，误差项往往不能满足基本模型的假定与要求。例如，“几乎”线性相关，或，等等。这些问题导致估计不再是一个“好”的估计，检验不再是一个正确的推断。误用模型会大大降低估计的精度和检验的效率，甚至产生错误的伪回归。传统观点主要处理三类问题。1）多重共线性，2）异方差性，3）误差序列相关性。这些问题传统观点只处理怎么诊断和修正，而不关心产生这些问题的原因。而现代观点则直接指出产生这些问题的原因。归结为：1）模型设定的问题和2）数据的问题两大类。并通过严格假定的方式，把这些问题的处理局限在模型适用的范围之内。换句话说就是，不同的问题，不同的假设条件，选择不同的模型。因此现代观点的处理更加灵活和实际。传统观点下的三类问题，我们将按现代观点的方式加以处理。传统的处理方式可参阅任何一本计量经济学的参考书。我们在此略。
注：本章的内容可参阅靳云汇的书前12章。或伍书现代观点的前8章。

25