一元回归.pptx

第一章：一元回归第一章：一元回归一、回归方程的意义一、回归方程的意义二、参数的估计二、参数的估计三、判断参数估计值好与坏的标准三、判断参数估计值好与坏的标准四、一元线性回归的统计检验四、一元线性回归的统计检验一个假想的案例一个假想的案例彩票彩票研究的问题研究的问题：一个人的：一个人的“周收入周收入”与与“每每周购买彩票的支出周购买彩票的支出”之间有什么关系。之间有什么关系。一个假想的案例一个假想的案例假设假设：l全社会总共就全社会总共就100个人买彩票个人买彩票l这这100个人的收入可分为个人的收入可分为10档档l每个收入档次中，都有每个收入档次中，都有10个人个人 彩票的购买支出彩票的购买支出50100150500X周收入周收入Y支支出出总体回归线总体回归线 PRL假设：假设：总能够总能够连接成连接成为一条为一条直线直线！一、回归方程的意义一、回归方程的意义由此案例可知由此案例可知：l1、根据总体的数据可以计算每种收入下，根据总体的数据可以计算每种收入下，人们购买彩票的人们购买彩票的平均支出平均支出;l2、将这些将这些平均支出点平均支出点连接起来连接起来总体总体回归线（回归线（PRL）一、回归方程的意义一、回归方程的意义 一、回归方程的意义一、回归方程的意义由此案例可知由此案例可知：l我们今后讨论的都是我们今后讨论的都是“线性回归线性回归”！l无论是线性的，还是非线性的，无论是线性的，还是非线性的，总体回总体回归线（方程）归线（方程）的的本质本质都是：都是：条件均值！条件均值！一、回归方程的意义一、回归方程的意义由此案例可知由此案例可知：l4、具体的具体的观察值观察值与与条件均值条件均值之间有之间有差异差异Ui是误差项，随机的！是误差项，随机的！一、回归方程的意义一、回归方程的意义由此案例可知由此案例可知：l4、具体的具体的观察值观察值与与条件均值条件均值之间有之间有差异差异 确定性部分确定性部分随机部分随机部分二、参数的估计二、参数的估计1、对对B0、B1的估计的估计l如果掌握了如果掌握了总体总体的信息（如本例）的信息（如本例）l那么那么总体的参数总体的参数B0和和B1就可以准确就可以准确地计算出来。地计算出来。二、参数的估计二、参数的估计1、对对B0、B1的估计的估计l现实中，我们现实中，我们不知道不知道总体总体的信息。的信息。l我们只能观察到一些我们只能观察到一些样本样本。例如，只。例如，只有有10个样本。个样本。彩票的购买支出彩票的购买支出50100150500X周收入周收入Y支支出出样本回归线样本回归线SRL总体回归线总体回归线PRL用用SRL去去估计估计PRL二、参数的估计二、参数的估计1、对对B0、B1的估计的估计 利用观察值，拟合一条直线：利用观察值，拟合一条直线：这就是这就是样本回归线样本回归线，我们我们用它去用它去估计估计总体回归线总体回归线二、参数的估计二、参数的估计二、参数的估计二、参数的估计二、参数的估计二、参数的估计二、参数的估计二、参数的估计 总体的参数总体的参数 样本估计值样本估计值 B0 b0 B1 b1E(Y|X)b0+b1XVar(u)=2Var(e)=S2二、参数的估计二、参数的估计3、对估计方法的思考对估计方法的思考 如果没有学过计量，我能否想如果没有学过计量，我能否想出估计参数出估计参数B0和和B1的方法？的方法？二、参数的估计二、参数的估计3、对估计方法的思考对估计方法的思考 以以一个过原点的回归线为例一个过原点的回归线为例自然的想法：自然的想法：u三种几何直观估计法三种几何直观估计法案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0Y=X案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0如何估计斜率？案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0取三个斜率的平均值案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0向量相加案例：如何估计通过原点的回归线案例：如何估计通过原点的回归线XY0取两个增量线段斜率的平均值三种几何直观估计法三种几何直观估计法二、参数的估计二、参数的估计4、普通最小二乘法（、普通最小二乘法（OLS）计量经济学中最核心的估计方法！计量经济学中最核心的估计方法！普通最小二乘法的历史普通最小二乘法的历史1801年，意大利天文学家朱赛朱赛 普普皮亚齐皮亚齐发现了第一颗小行星谷神谷神星星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。普通普通最小二乘法的历史最小二乘法的历史随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星。但是根据大多数人计算的测算结果都找不到这颗神秘的星星。普通普通最小二乘法的历史最小二乘法的历史时年24岁的高斯高斯也计算了谷神星的轨道。奥地利天文学家根据高斯计算出来的轨道重新发现了谷神星。高斯使用的方法就是高斯使用的方法就是“最小二乘法最小二乘法”普通普通最小二乘法的历史最小二乘法的历史法国科学家勒让德勒让德于1806年独立发现“最小二乘法”。但因不为时人所知而默默无闻。普通最小二乘法（普通最小二乘法（OLS）二、参数的估计二、参数的估计l5、对对B0、B1的估计的估计普通最小二乘普通最小二乘(OLS)极大似然极大似然估计估计(ML)*矩估计矩估计*二、参数的估计二、参数的估计普通最小二乘普通最小二乘(OLS)选择选择合适的参数使得观察值的残差平方和合适的参数使得观察值的残差平方和最小。最小。35二、参数的估计二、参数的估计普通最小二乘普通最小二乘(OLS)形式一形式一二、参数的估计二、参数的估计普通最小二乘普通最小二乘(OLS)形式二形式二由此可知：由此可知：当数据经过当数据经过标准化标准化处理后，所做的处理后，所做的回归线将会通过回归线将会通过原点原点！二、参数的估计二、参数的估计普通最小二乘普通最小二乘(OLS)形式三形式三容易证明：容易证明：任何回归线任何回归线都会穿过都会穿过 这一点！这一点！二、参数的估计二、参数的估计l6、对对随机项方差随机项方差2的估计的估计根据根据残差残差，按下式估计，按下式估计三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准u直观的比较直观的比较uMonte carol 模拟法进行比模拟法进行比较较http:/ Linear Unbiased Estimater)三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准当回归方程满足如下条件时，相应参当回归方程满足如下条件时，相应参数的数的OLS估计量具有上述所有性质。估计量具有上述所有性质。即，即，“最佳线性无偏估计量最佳线性无偏估计量”。线性回归模型的基本假设线性回归模型的基本假设 高斯高斯.马尔科夫条件马尔科夫条件 假假设设1.在在变变量量X与与变变量量Y之之间间，客客观观存存在在着着“线性的线性的”总体回归函数：总体回归函数：假假设设2.解解释释变变量量X是是确确定定性性变变量量，不不是是随随机变量；机变量；假假设设3.随随机机误误差差项项 具具有有零零均均值值、同同方方差差和序列不相关性：和序列不相关性：E(i)=0 i=1,2,n Var(i)=2 i=1,2,n Cov(i,j)=0 ij，i、j=1,2,n 线性回归模型的基本假设线性回归模型的基本假设 高斯高斯.马尔科夫条件马尔科夫条件高斯高斯马尔可夫定理马尔可夫定理 在在给给定定上上述述经经典典线线性性回回归归的的假假设设下下，最最小小二二乘乘估估计计量量是是具具有有最最小小方方差差的的线线性性无无偏偏估估计计 量量（BLUE:Best Linear Unbiased Estimator）。）。高斯高斯马尔科夫定理的证明马尔科夫定理的证明(1)OLS估计量是“线性估计量”高斯高斯马尔科夫定理的证明马尔科夫定理的证明(2)OLS估计量是“无偏估计量”注意：估计量是一个随机变量！注意：估计量是一个随机变量！估计量有自己均值、方差，和分布高斯高斯马尔科夫定理的证明马尔科夫定理的证明(3)OLS估计量是“有效估计量”其中，ci=ki+di，di为不全为零的常数可以证明：55ci=wi+di注意到也是线性无偏估计量，则必有56着就意味着三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准 当上述性质无法达到时，我们追求当上述性质无法达到时，我们追求大样本能够具有如下性质大样本能够具有如下性质（4）一致性一致性*:（5）渐近无偏）渐近无偏性性 样本容量样本容量趋于无穷大时，是否它的趋于无穷大时，是否它的均值序列趋于总体真值；均值序列趋于总体真值；三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准 当上述性质无法达到时，我们追求当上述性质无法达到时，我们追求大样本能够具有如下性质大样本能够具有如下性质（5）渐近有效性）渐近有效性 样本容量样本容量趋于无穷大时，是否它在趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近所有的一致估计量中具有最小的渐近方差。方差。三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准 当上述性质无法达到时，我们追求当上述性质无法达到时，我们追求大样本能够具有如下性质大样本能够具有如下性质（6）稳健性）稳健性*样本容量样本容量趋于无穷大时，是否它在趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近所有的一致估计量中具有最小的渐近方差。方差。三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准对数据敏感程度的对数据敏感程度的指标指标（7）稳健性稳健性*当样本数据无显著变化时，估计量也没当样本数据无显著变化时，估计量也没有显著的差异。有显著的差异。三、判断参数估计值好坏的标准三、判断参数估计值好坏的标准利用残差对利用残差对2的估计的估计S2，是一个是一个“无偏估计量无偏估计量”；但它显然但它显然不是线性不是线性的！的！四、一元线性回归的统计检验四、一元线性回归的统计检验l1.拟合优度检验拟合优度检验 l2.显著性检验显著性检验l方程总体的显著性检验方程总体的显著性检验l单个变量的显著性检验单个变量的显著性检验l3.残差检验残差检验*1.拟合优度检验拟合优度检验50100150500X周收入周收入Y支支出出回归线回归线Y因收入不同因收入不同引起的偏差引起的偏差随机因素引随机因素引起的偏差起的偏差 1.拟合优度检验拟合优度检验方差分解：方差分解：TSS=ESS+SSR记记总离差平方和总离差平方和解释平方和（回归平方和）解释平方和（回归平方和）残差平方和残差平方和判定系数判定系数R2 2 R2 2越接近越接近1 1，说明拟合优度越高，说明拟合优度越高。1.拟合优度检验拟合优度检验ExampleoftheR2TestScore=698.92.28STR,R2=0.05,2.显著性检验显著性检验（1）方程总体的显著性检验方程总体的显著性检验 对总体参数对总体参数提出假设提出假设 H0：1=0 H1：1不为零不为零 如果原假设为真，则如果原假设为真，则Yi与与Y之间的偏差全之间的偏差全部是由部是由随机因素随机因素引起的。引起的。即，即，ESS/TSS 应该接近为零！应该接近为零！2.显著性检验显著性检验（1）方程总体的显著性检验方程总体的显著性检验 对总体参数对总体参数提出假设提出假设 H0：1=0 H1：1不为零不为零因为，因为，回归平方和回归平方和 残差平方和残差平方和 附录：Chi-squareddistribution概率密度函数累计概率函数 2.显著性检验显著性检验（1）方程总体的显著性检验方程总体的显著性检验所以，可构造所以，可构造F统计量：统计量：其中，F（1，n-2）表示第一自由度为1，第二自由度为n-2的F分布。2.显著性检验显著性检验（1）方程总体的显著性检验方程总体的显著性检验 在进行检验时，如果F值小于F表中的临界值F，即，若若F t /2(n-2)，则，则拒绝拒绝H0，接受，接受H1；若若|t|t /2(n-2)，则，则接受接受H0，拒绝，拒绝H1；P值判断：值判断：回归结果回归结果 （3）残差检验）残差检验是否是正态分布（略）是否是正态分布（略）是否具有异方差是否具有异方差(略略)案例：利用截面数据估计我国的消案例：利用截面数据估计我国的消费函数费函数1.画散点图画散点图初步判断初步判断是否存在是否存在线性关系线性关系！案例：利用截面数据估计我国的消案例：利用截面数据估计我国的消费函数费函数2.估计参数估计参数DependentVariable:CONSMethod:LeastSquaresIncludedobservations:31Variable CoefficientStd.Errort-StatisticProb.C704.8237625.69411.1264670.2692INC0.6676550.03351419.921380.0000R-squared0.931903AdjustedR-squared0.929555S.E.ofregression877.2913Sumsquaredresid22319560F-statistic396.8615Prob(F-statistic)0.000000尝试带常数项尝试带常数项的回归的回归案例：利用截面数据估计我国的消案例：利用截面数据估计我国的消费函数费函数2.估计参数估计参数DependentVariable:CONSMethod:LeastSquaresIncludedobservations:31Variable CoefficientStd.Errort-StatisticProb.INC0.7041910.00847883.065220.0000R-squared0.928923AdjustedR-squared0.928923S.E.ofregression881.2146Sumsquaredresid23296177.尝试不带常数尝试不带常数项的回归项的回归注意：不带常数注意：不带常数项的回归不出现项的回归不出现F值值案例：利用截面数据估计我国的消案例：利用截面数据估计我国的消费函数费函数3.残差图与拟合图残差图与拟合图一元线性回归的应用一元线性回归的应用置信区间的估计（置信区间的估计（参数参数的和的和预测值预测值的）的）应用案例应用案例置信区间的估计置信区间的估计参数的置信区间：参数的置信区间：真实的真实的i将会以将会以（1 ）的概率）的概率，被上述区间覆盖住。被上述区间覆盖住。置信区间的估计置信区间的估计预测的置信区间：预测的置信区间：条件均值的预测：条件均值的预测：个体值的预测：个体值的预测：EVIEWS应用案例应用案例早期菲利普斯曲线的估计早期菲利普斯曲线的估计生产函数的估计生产函数的估计资本的流动性资本的流动性金融市场中的金融市场中的值值Copyright2006PearsonAddison-Wesley.Allrightsreserved.5-93U.S.UnemploymentandInflation,19581969 ThePhillipsCurve应用案例应用案例生产函数的估计生产函数的估计lCobb-Douglas生产函数生产函数1928年，阿默斯特学院年，阿默斯特学院 查尔斯查尔斯.柯布，柯布，芝加哥大学芝加哥大学 保罗保罗.道格拉斯；道格拉斯；利用利用1899-1922年美国数据；年美国数据；规模报酬不变时，可利用规模报酬不变时，可利用“一元回归一元回归”估计估计“投入产出的弹性投入产出的弹性”；应用案例应用案例生产函数的估计生产函数的估计lCES生产函数生产函数60年代，阿罗、索洛、钱纳里等人研年代，阿罗、索洛、钱纳里等人研究了；究了；经典论文；经典论文；应用案例应用案例资本的流动性资本的流动性l通常认为资本会在国际间快速流动；通常认为资本会在国际间快速流动；lFeldstein&Horioka利用一元回归利用一元回归进行了研究：进行了研究：投资率投资率=0+1*储蓄率储蓄率l得到了意想不到的答案；得到了意想不到的答案；应用案例应用案例金融市场中的金融市场中的值值l资产定价模型（资产定价模型（CAPM）