简单线性回归模型.pptx

学习要点一、简单线性回归模型的设定 二、简单线性回归模型的基本假定 三、简单线性回归模型参数的估计方法 四、参数估计量的统计性质 五、拟合优度的度量 六、回归系数的区间估计和假设检验 七、回归模型预测 八、EViews应用 1.经济变量间的相互关系 确定性的函数关系：确定性的函数关系：不确定性的统计关系不确定性的统计关系相关关系相关关系 (u为随机变量为随机变量)没有关系没有关系 （一）回归与相关关系一、一元线性回归模型2.相关关系相关关系的描述相关关系的描述相关关系最直观的描述方式相关关系最直观的描述方式坐标图坐标图（散布图）散布图）相关关系的类型相关关系的类型 从从 涉涉 及及 的的 变变 量量 数数 量量 看看：简单相关、多重相关（复相关）简单相关、多重相关（复相关）从从变变量量相相关关关关系系的的表表现现形形式式看看：线线性性相相关关散散布布图图接接近近一一条条直直线线；非非线性相关线性相关散布图接近一条曲线。散布图接近一条曲线。从从变变量量相相关关关关系系变变化化的的方方向向看看：正正相相关关变变量量同同方方向向变变化化，同同增增同同减减；负负相相关关变变量量反反方方向向变变化化，一一增增一一减；不相关。减；不相关。3.相关程度的度量简单相关系数 简单相关系数用来测度两个变量之间是否存在线性相关简单相关系数用来测度两个变量之间是否存在线性相关关系，其变化范围在关系，其变化范围在-1，1 之间。越接近于之间。越接近于-1，负相关，负相关程度越高；越接近程度越高；越接近1，正相关程度越高。，正相关程度越高。除过简单相关系数，还有偏相关系数、复相关系数来测除过简单相关系数，还有偏相关系数、复相关系数来测度变量间的相关关系，但是在含义上有差别。度变量间的相关关系，但是在含义上有差别。和和 都是相互对称的随机变量；都是相互对称的随机变量；线性线性相关系数只反映变量间的线性相关程度，不能说明相关系数只反映变量间的线性相关程度，不能说明 非线性相关关系；非线性相关关系；样样本本相相关关系系数数是是总总体体相相关关系系数数的的样样本本估估计计值值，因因抽抽样样 波动，样本相关系数为随机变量，其统计显著性有待检验；波动，样本相关系数为随机变量，其统计显著性有待检验；相关系数只能反映线性相关程度，不能确定因果关系，不相关系数只能反映线性相关程度，不能确定因果关系，不 能说明相关关系具体接近哪条直线能说明相关关系具体接近哪条直线.计量经济学关心：变量间的因果关系及隐藏在随机性后计量经济学关心：变量间的因果关系及隐藏在随机性后面的统计规律性，这有赖于回归分析方法面的统计规律性，这有赖于回归分析方法.使用相关系数时应注意 回归的古典意义：道尔顿遗传学的回归概念：道尔顿遗传学的回归概念：父母身高与子女父母身高与子女身高的关系。身高的关系。回归的现代意义：一个因变量对若干解释变量依存关系的研究。一个因变量对若干解释变量依存关系的研究。回归的目的（实质）：由固定的解释变量去估计因变量的平均值。由固定的解释变量去估计因变量的平均值。4.回归分析（二）一元线性回归模型（二）一元线性回归模型一元线性总体回归模型一元线性总体回归模型:一元线性总体回归函数：一元线性总体回归函数：（Population Regression Function,PRF)一元线性样本回归模型：一元线性样本回归模型：一元线性样本回归函数：一元线性样本回归函数：(Sample Regression Function,SRF)实际的经济研究中总体回归函数通常是未知的，只能根实际的经济研究中总体回归函数通常是未知的，只能根据经济理论和实践经验去设定。据经济理论和实践经验去设定。“计量计量”的目的就是寻求样的目的就是寻求样本回归函数作为总体回归函数的估计。本回归函数作为总体回归函数的估计。1.1.一元线性回归模型设定一元线性回归模型设定 的条件分布的条件分布当当解解释释变变量量 取取某某固固定定值值时时（条条件件），的的值值不不确确定定，的不同取值形成一定的分布，即的不同取值形成一定的分布，即 的条件分布。的条件分布。的条件期望的条件期望对于对于 的每一个取值，的每一个取值，对对 所形成的分布确所形成的分布确 定其期望或均值，称定其期望或均值，称 为为 的条件期望或条的条件期望或条 件均值件均值 注意几个概念注意几个概念 （1 1）条件均值表现形式）条件均值表现形式 假如假如 的条件均值的条件均值 是解是解 释变量释变量 的线性函数，可表示为：的线性函数，可表示为：（2 2）个别值表现形式）个别值表现形式 对于一定的对于一定的 ，的各个别值的各个别值 分布分布 在在 的周围，若令各个的周围，若令各个 与条件与条件 均值均值 的偏差为的偏差为 ,显然显然 是随机变量是随机变量,则有则有 2.2.总体回归函数的表现形式总体回归函数的表现形式3 3、样本回归函数（、样本回归函数（SRFSRF）样本回归线样本回归线：对于对于 的一定值，取得的一定值，取得 的样本观测值，可计算其条件均的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为样本回归线。值，样本观测值条件均值的轨迹称为样本回归线。样本回归函数样本回归函数：如果把应变量如果把应变量 的样本条件均值表示为解释变量的样本条件均值表示为解释变量 的某种函的某种函数，这个函数称为样本回归函数（数，这个函数称为样本回归函数（SRF）。）。代表未知的影响因素代表未知的影响因素 无法取得已知影响因素的代表指标无法取得已知影响因素的代表指标 众多细小影响因素的综合影响众多细小影响因素的综合影响 模型的设定误差模型的设定误差变量的观测误差变量的观测误差 变量内在随机性变量内在随机性4.引入随机扰动项的原因变量、参数均为变量、参数均为“线性线性”参数参数“线性线性”，变量，变量”非线性非线性”变量变量“线性线性”，参数，参数”非线性非线性”计量经济学中计量经济学中:线性回归模型主要指就参数而言是线性回归模型主要指就参数而言是“线性线性”,因为只要对因为只要对参数而言是线性的参数而言是线性的,都可以用类似的方法估计其参数。都可以用类似的方法估计其参数。5.“线性”的理解：（二）关于线性回归模型的基本假定（二）关于线性回归模型的基本假定 、u为随机扰为随机扰动动,呈正态分布呈正态分布,且且u=0平均数相等平均数相等拟合值与拟合值与u不相关不相关1、X是固定变量是固定变量(若若X随机随机,须须与与u不相关不相关)注意：残差项与随机扰动项不是同一个概念。注意：残差项与随机扰动项不是同一个概念。2、u不存在不存在自相关自相关3、u为为等等方方差差f(u)YX3X2X1X异方差异方差f(u)YX3X2X1X同方差同方差（三）一元线性回归模型参数最小二乘估（三）一元线性回归模型参数最小二乘估计量（计量（OLSEOLSE）的性质）的性质一元线性一元线性回归模型回归模型总体回归模型总体回归模型样本回归模型样本回归模型样本估计样本估计量的性质量的性质1、估计量是线性的（、估计量是线性的（Linear）;2、估计量是无偏的（、估计量是无偏的（Unbias）估计量估计量（Estimator）3、方差最小性、方差最小性（Best）4、b服从正态分布服从正态分布v点估计的方法有多种。但最小二乘法（高斯点估计的方法有多种。但最小二乘法（高斯-马尔科马尔科夫定理）保证：夫定理）保证：由最小二乘法得到的估计量是线性无偏的估计由最小二乘法得到的估计量是线性无偏的估计量，而且是一个最好的估计量。即最小二乘估计量量，而且是一个最好的估计量。即最小二乘估计量（OLSEOLSE）具有）具有BLUEBLUE性质。性质。vBLUEBLUE：Best Linear Unbias EstimatorBest Linear Unbias Estimator最小二乘估计量b的线性性确定性部分确定性部分令令令令wiw 的性质的性质:证明：证明：说明说明b1是是1的无偏估计。的无偏估计。则则则则最小二乘估计量b的无偏估计量（1）（2）（1 1）最小二乘估计量b的方差则：则：（2）则：则：称为回归标准误差，为随机扰动项称为回归标准误差，为随机扰动项u的方差的无偏估计，即的方差的无偏估计，即 b0和和b1方差的表达式中都包含随机扰动项方差的表达式中都包含随机扰动项u的方差，由于的方差，由于u是一个不可观测的变量，故是一个不可观测的变量，故u的方差不能计算出来，其估的方差不能计算出来，其估计式为：计式为：方差最小性（有效性，最佳性）的证明在方差最小性（有效性，最佳性）的证明在K元回归模型元回归模型分析中给出。分析中给出。估计回归标准误差 的估计有关思考由最小二乘法所得直线能够对这些数据点之间的关系由最小二乘法所得直线能够对这些数据点之间的关系加以反映吗？加以反映吗？对数据点之间的关系或趋势反映到了何种程度？对数据点之间的关系或趋势反映到了何种程度？在统计上如何验证所得一元回归模式的可靠程度。在统计上如何验证所得一元回归模式的可靠程度。1.1.平方和与自由度的分解平方和与自由度的分解(1)总平方和(TSS)、回归平方和(ESS)、残差平方和(RSS)的定义(2)平方和的分解(3)自由度(df)的分解（四）一元线性回归模型的统计检验（四）一元线性回归模型的统计检验平方和分解图总平方和、回归平方和、残差平方和的定义 TSS度量度量Y自身的变异程度，自身的变异程度，ESS度量对拟合值的变度量对拟合值的变异程度，异程度，RSS度量实际值与拟合值之间的差异程度。度量实际值与拟合值之间的差异程度。TSS=Total Sum of SquaresESS=Explained Sum of Squares RSS=Residual Sum of Squares平方和的分解平方和分解的意义vTSS=ESS+RSSv被解释变量 Y 总的变动=解释变量 X 对 Y 引起的变动 +除 X 以外的因素引起的变动v如果 X 引起的变动在 Y 的总变动中占很大比例，那么 X 很好地解释了 Y；否则，X 不能很好地说明 Y。自由度(df)的分解v总自由度总自由度:dfT=n-1v回归自由度回归自由度:dfE=1（解释变量的个数（解释变量的个数)v残差自由度残差自由度:dfR=n-2vdfT=dfE+dfR df:degree of freedom2.2.拟合优度指标（或称判定系数、可决系数）拟合优度指标（或称判定系数、可决系数）目的：企图构造一个不含单位，可以相互进行目的：企图构造一个不含单位，可以相互进行 比较，比较，而且能直观判断拟合优劣。而且能直观判断拟合优劣。拟合优度的定义：拟合优度的定义：意义：拟合优度越大，自变量对因变量的解释程度越高，意义：拟合优度越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。直线附近越密集。取值范围：取值范围：0-1运用可决系数时应注意运用可决系数时应注意 1.1.可决系数只是说明列入模型的所有解释变量对因可决系数只是说明列入模型的所有解释变量对因变量的联合的影响程度，不说明模型中每个解释变量的影变量的联合的影响程度，不说明模型中每个解释变量的影响程度（在多元中）响程度（在多元中）.2.2.回归的主要目的如果是经济结构分析，不能只追回归的主要目的如果是经济结构分析，不能只追求高的可决系数，而是要得到总体回归系数可信的估计，求高的可决系数，而是要得到总体回归系数可信的估计，可决系数高并不表示每个回归系数都可信任可决系数高并不表示每个回归系数都可信任.3.3.如果建模的目的只是为了预测因变量值，不是为如果建模的目的只是为了预测因变量值，不是为了正确估计回归系数，一般可考虑有较高的可决系数了正确估计回归系数，一般可考虑有较高的可决系数.3.3.对一元线性回归模型进行对一元线性回归模型进行 t 检验检验HH0 0：=0=0HH1 1：00提出假设：提出假设：构造构造 t 统计量统计量:确定显著性水平。确定显著性水平。一般取，查t分布表得临界值。做出决策：将做出决策：将t统计量与临界值对比。统计量与临界值对比。t 检验的作用：检验引入模型中的检验的作用：检验引入模型中的某一个某一个X对对Y 的影响是否显著。的影响是否显著。,t 统计量落在拒绝区统计量落在拒绝区,说明通过了说明通过了t 检验检验.如果通过了如果通过了t 检验检验,则则(-,-t)的面积的面积(概率概率)与与(-,-t)的面积的面积(概概率率)之和小于之和小于5%(或或1%).接受区接受区拒绝区拒绝区拒绝区拒绝区4.4.对一元线性回归模型进行对一元线性回归模型进行 F 检验检验根据小概率原理判断，作出决策根据小概率原理判断，作出决策原假设原假设 H H0 0：=0=0备择假设备择假设 H H1 1：0 0提出：提出：构造统构造统计量：计量：确定显著性水平：确定显著性水平：一般取，查F分布表得临界值。F 检验的作用：检验引入模型检验的作用：检验引入模型中的所有中的所有X联合起来对联合起来对Y 的影响的影响是否显著。是否显著。拟合优度拟合优度R2与与F统计量之间的联系统计量之间的联系vF显著显著=拟合优度高拟合优度高一元线性回归中一元线性回归中F、t 统计量之间的联系统计量之间的联系故：一元线性回归模型中故：一元线性回归模型中t 检验和检验和F 检验是等效的。检验是等效的。（五）一元线性回归模型的应用（五）一元线性回归模型的应用预测预测 设未来时点为设未来时点为 f，给定，给定 Xf，则得出，则得出Yf 的点估计：的点估计：进行区间估计进行区间估计:其中：其中：思考思考：回归问题的处理思路v数据背后存在着某种规律性；数据背后存在着某种规律性；v关于数据生成过程的初步假定关于数据生成过程的初步假定设定线性模型设定线性模型 数据生成过程数据生成过程 =确定性部分确定性部分+非确定性部分非确定性部分 v样本一般说来总会反映一些总体的性质：样本一般说来总会反映一些总体的性质：确定性部分确定性部分=X=X、Y Y之间的函数关系之间的函数关系v非确定性部分非确定性部分(扰动项扰动项)平方和最小平方和最小 数学求极值数学求极值v利用样本数据寻求到确定性部分。利用样本数据寻求到确定性部分。关于数据生成过程的假定 可依据对现实的抽象，假定数据背后有一个数据生成的过可依据对现实的抽象，假定数据背后有一个数据生成的过程程 仅仅是一个初步假定（假定：数据生成过程仅仅是一个初步假定（假定：数据生成过程=确定性部分确定性部分+非确定性部分），要应用最小二乘法估计该模型非确定性部分），要应用最小二乘法估计该模型,须作出进须作出进一步的假定一步的假定（为什么？）。（为什么？）。二、二元线性回归模型二、二元线性回归模型 1、模型的数学形式 二元线性回归模型中多引入了一个解释变量，表达式为：二元线性回归模型中多引入了一个解释变量，表达式为：（一）二元线性回归模型设定（一）二元线性回归模型设定 总体回归模型总体回归模型样本回归模型样本回归模型取定一个样本取定一个样本,样样本容量为本容量为n,将将n组组数据分别代入总体数据分别代入总体回归模型回归模型表达为矩阵形式表达为矩阵形式:记为记为:2.2.有关解释变量有关解释变量 X 的基本假定的基本假定v矩阵矩阵X 为满列秩，即为满列秩，即R(X)=3；vX1、X2之间不相关，即之间不相关，即 Cov(X1,X2)=0；vX1、X2 为固定变量为固定变量;v若若X1、X2 为随机变量为随机变量,X与残差项之间不相关，即与残差项之间不相关，即 Cov(x,u)=0一般地：有关随机扰动项ui的基本假设 随机扰动项随机扰动项u ui i是一个有关总体属性的随机变量，对是一个有关总体属性的随机变量，对u ui i的性质的性质作出假设：作出假设：假设假设1残差分布均值为零残差分布均值为零（Zero Mean Error Zero Mean Error DisplacementDisplacement）假设假设2随机扰动项方差相等（随机扰动项方差相等（Constant Error VarianceConstant Error Variance）假设假设3随机扰动项（误差）相互独立（随机扰动项（误差）相互独立（Error Error IndependentIndependent）假设假设4所有所有xi都是可观察的并且独立于都是可观察的并且独立于ui i（二）最小二乘法（二）最小二乘法（OLSOLS）估计模型）估计模型就上式分别对就上式分别对b0、b1、b求偏导数，并令其为零：求偏导数，并令其为零：！说明残差和为零；残差和解释变量之间不相关。！说明残差和为零；残差和解释变量之间不相关。整理联立方程：整理联立方程：进一步可表达为：进一步可表达为：最小二乘法应用的中间结果显示最小二乘法应用的中间结果显示:1 1、残差和、残差和=0=0 2 2、残差与解释变量不相关、残差与解释变量不相关 3 3、残差与被解释变量拟合值不相关、残差与被解释变量拟合值不相关 4 4、被解释变量实际值与拟合值的均值相等、被解释变量实际值与拟合值的均值相等即：即：进一步：进一步：写为写为：得得：该该b 值能够保证式值能够保证式:(在在存在时存在时)（三）（三）b b的统计特性的统计特性线性性、无偏性、最佳性、服从正态分布线性性、无偏性、最佳性、服从正态分布 b的估计方差的估计方差:替代替代（四）模型检验（四）模型检验1.拟合优度检验拟合优度检验可决系数可决系数R2:取值范围在取值范围在01之间之间,越大越大,模型拟合程度越高模型拟合程度越高;表示两个表示两个X 联合起来对联合起来对Y 的解释程度的解释程度:是衡量模型拟合质量的重要指标是衡量模型拟合质量的重要指标;具有复相关的含义。具有复相关的含义。(2)(2)单参数显著性检验单参数显著性检验t t 检验检验若若拒绝拒绝0接受接受H1，说明，说明显著显著不为零，或不为零，或引入模型中的对引入模型中的对有解释能力有解释能力若若接受接受H0，说明，说明与零无显著不与零无显著不同，或同，或引入模型中的对没引入模型中的对没有解释能力有解释能力,予以删除予以删除(3)(3)参数的总显著性检验参数的总显著性检验F检验检验 该检验用于检验该检验用于检验X1、X2联合起来对联合起来对Y的影响是否显著。的影响是否显著。H0:j=0 （j=1，2）H1:参数中至少有一个不为零参数中至少有一个不为零提出假设提出假设构造检验统计量构造检验统计量F:若若拒绝拒绝H0，接受，接受H1。即。即X1、X2联合起来联合起来对对Y的影响是显著的，变量应该被引进，的影响是显著的，变量应该被引进，该模型由此在统计上也是可靠的。该模型由此在统计上也是可靠的。接受接受H0，即，即1、2同时为零，同时为零，X1、X2不不应被引入模型，模型应当重新设定。应被引入模型，模型应当重新设定。判断判断:1、是为了满足应用最小二乘法的需要；、是为了满足应用最小二乘法的需要；反思：为什么对模型事先要作出基本假设？3、是为了实现、是为了实现t 检验和检验和F 检验（残差正态性假设）。检验（残差正态性假设）。2、是为了避免数学处理上存在的问题（满列秩假定）、是为了避免数学处理上存在的问题（满列秩假定）4、是为了估计、是为了估计 （等方差的假定）（等方差的假定）5、为了提高估计的精度（无自相关假定）、为了提高估计的精度（无自相关假定）三、本章EViews 学习要点 1、安装、安装EViews，进入主窗口。，进入主窗口。2、创建工作文件、创建工作文件:点击点击File/New/Workfile,选择适当选择适当的时间频率（年、季度、月、周、天、非日期数据）和的时间频率（年、季度、月、周、天、非日期数据）和确定起止日期或样本区间确定起止日期或样本区间。3、进入工作文件窗口：工作文件窗口是、进入工作文件窗口：工作文件窗口是EViews的子的子窗口。它有标题栏、控制按钮和工具条。标题栏指明窗口窗口。它有标题栏、控制按钮和工具条。标题栏指明窗口的类型的类型workfile、工作文件名。标题栏下是工作文件窗口、工作文件名。标题栏下是工作文件窗口的工具条，工具条上有一些按钮。的工具条，工具条上有一些按钮。Views（观察按钮）、（观察按钮）、Procs（过程按钮）、（过程按钮）、Save（保存工作文件）、（保存工作文件）、Sample（设置观察值的样本区间）、（设置观察值的样本区间）、Gener（利用已有的序列生成新的序列）、（利用已有的序列生成新的序列）、Fetch（从磁盘（从磁盘上读取数据）、上读取数据）、Store（将数据存储到磁盘）、（将数据存储到磁盘）、Delete（删（删除）对象。除）对象。工作文件一开始其中就包含了两个对象，一个是系数序列工作文件一开始其中就包含了两个对象，一个是系数序列C（保存估计系数用），另一个是残差序列（保存估计系数用），另一个是残差序列RESID（实际值（实际值与拟合值之差）。与拟合值之差）。4、数据输入和编辑、数据输入和编辑：点击点击Objects New object 选选Series 输入序列名称输入序列名称Ok,进入数据编辑窗口，点击进入数据编辑窗口，点击Edit+/-打开数据编辑状态，（可以根据习惯点击打开数据编辑状态，（可以根据习惯点击Smpl+/-改变数据按行或列的显示形式）然后输入数据，方式同上。改变数据按行或列的显示形式）然后输入数据，方式同上。5、观察数据特征：、观察数据特征：Group Members 可用于增加组中可用于增加组中的序列；的序列；SpreadSheet以电子数据表的形式显示数据；以电子数据表的形式显示数据；Dated Data Table 将使时序数据以表的形式显示；将使时序数据以表的形式显示；Graph以各种图形的形式显示数据；以各种图形的形式显示数据；Multi Graph 以图的形式显示以图的形式显示数据；数据；Descriptive Stats给出组中数据的描述统计量，如给出组中数据的描述统计量，如均值、方差、偏度、峰度、均值、方差、偏度、峰度、J-B统计量（用于正态性检验）统计量（用于正态性检验）等；等；Correlations 给出数组中序列的相关系数矩阵；给出数组中序列的相关系数矩阵；Covariances给出数组中序列的协方差矩阵；给出数组中序列的协方差矩阵；6、回归估计：在主菜单选、回归估计：在主菜单选Quick Estimate Equations，进入输入估计方程对话框，进入输入估计方程对话框,输入待估计方程，选择估计方输入待估计方程，选择估计方法法普通最小二乘法普通最小二乘法 7、单方程预测：、单方程预测：在方程估计输出窗口，点击其工具在方程估计输出窗口，点击其工具栏中的栏中的Forecast打开对话框打开对话框。8、统计检验结果的判断。、统计检验结果的判断。