最小二乘法和线性回归省公共课一等奖全国赛课获奖课件.pptx

第二章第二章 最小二乘法（最小二乘法（OLS）和线性回归模型和线性回归模型1第1页本章关键点最小二乘法基本原理和计算方法经典线性回归模型基本假定BLUE统计量性质t检验和置信区间检验原理及步骤多变量模型回归系数F检验预测类型及评判预测标准好模型含有特征2第2页第一节第一节 最小二乘法基本属性最小二乘法基本属性一、相关回归基本介绍 金融、经济变量之间关系，大致上能够分为两种：（1）函数关系：Y=f(X1,X2,.,XP)，其中Y值是由Xi（i=1,2.p）所唯一确定。（2）相关关系:Y=f(X1,X2,.,XP)，这里Y值不能由Xi（i=1,2.p）准确唯一确定。3第3页图2-1 货币供给量和GDP散点图4第4页图2-1表示是我国货币供给量M2（y）与经过季节调整GDP（x）之间关系（数据为1995年第一季度到第二季度季度数据）。5第5页但有时候我们想知道当x改变一单位时，y平均改变多少，能够看到，因为图中全部点都相正确集中在图中直线周围，所以我们能够以这条直线大致代表x与y之间关系。假如我们能够确定这条直线，我们就能够用直线斜率来表示当x改变一单位时y改变程度，由图中点确定线过程就是回归。6第6页对于变量间相关关系，我们能够依据大量统计资料，找出它们在数量改变方面规律（即“平均”规律），这种统计规律所揭示关系就是回归关系（regressive relationship）,所表示数学方程就是回归方程（regression equation）或回归模型（regression model）。7第7页图2-1中直线可表示为 （2.1）依据上式，在确定、情况下，给定一个x值，我们就能够得到一个确定y值，然而依据式（2.1）得到y值与实际y值存在一个误差（即图2-1中点到直线距离）。8第8页假如我们以表示误差，则方程（2.1）变为：即：其中t（=1,2,3,.,T）表示观察数。（2.2）（2.3）式（2.3）即为一个简单双变量回归模型（因其仅含有两个变量x,y）基本形式。9第9页其中yt被称作因变量（dependent variable）、被解释变量（explained variable）、结果变量（effect variable）；xt被称作自变量（independent variable）、解释变量（explanatory variable）、原因变量（causal variable）10第10页、为参数（parameters）,或称回归系数（regression coefficients）；t通常被称为随机误差项（stochastic error term）,或随机扰动项（random disturbance term）,简称误差项，在回归模型中它是不确定，服从随机分布（对应，yt也是不确定，服从随机分布）。11第11页为何将t 包含在模型中？（1）有些变量是观察不到或者是无法度量，又或者影响因变量yt原因太多；（2）在yt度量过程中会发生偏误，这些偏误在模型中是表示不出来；（3）外界随机原因对yt影响也极难模型化，比如：恐怖事件、自然灾害、设备故障等。12第12页二、参数最小二乘预计(一)方法介绍本章所介绍是普通最小二乘法（ordinary least squares,简记OLS）;最小二乘法基本标准是：最优拟合直线应该使各点到直线距离和最小，也可表述为距离平方和最小。假定依据这一原理得到、预计值为 、，则直线可表示为 。13第13页直线上yt值，记为 ，称为拟合值（fitted value）,实际值与拟合值差，记为 ，称为残差（residual），能够看作是随机误差项 预计值。依据OLS基本标准，使直线与各散点距离平方和最小，实际上是使残差平方和（residual sum of squares,简记RSS）最小，即最小化：RSS=（2.4）14第14页依据最小化一阶条件，将式2.4分别对、求偏导，并令其为零，即可求得结果以下:（2.5）（2.6）15第15页（二）一些基本概念1.总体（the population）和样本（the sample）总体是指待研究变量全部数据集合，能够是有限，也能够是无限；而样本是总体一个子集。2、总体回归方程（the population regression function，简记PRF），样本回归方程（the sample regression function，简记SRF）。16第16页总体回归方程（PRF）表示变量之间真实关系，有时也被称为数据生成过程（DGP），PRF中、值是真实值，方程为：+（2.7）样本回归方程（SRF）是依据所选样本估算变量之间关系函数，方程为：注意：SRF中没有误差项，依据这一方程得到是总体因变量期望值（2.8）17第17页于是方程（2.7）能够写为：（2.9）总体y值被分解为两部分：模型拟合值（）和残差项（）。18第18页3.线性关系对线性第一个解释是指：y是x线性函数，比如，y=。对线性第二种解释是指：y是参数一个线性函数，它能够不是变量x线性函数。比如，y=就是一个线性回归模型，但 则不是。在本课程中，线性回归一词总是对指参数为线性一个回归（即参数只以一次方出现），对解释变量x则能够是或不是线性。19第19页有些模型看起来不是线性回归，但经过一些基本代数变换能够转换成线性回归模型。比如，（2.10）能够进行以下变换：（2.11）令 、，则方程（2.11）变为：（2.12）能够看到，模型2.12即为一线性模型。20第20页4.预计量（estimator）和预计值（estimate）预计量是指计算系数方程；而预计值是指预计出来系数数值。21第21页三、最小二乘预计量性质和分布（一）经典线性回归模型基本假设（1），即残差含有零均值；（2）var ,即残差含有常数方差，且对于全部x值是有限；（3）cov ，即残差项之间在统计意义上是相互独立；（4）cov ，即残差项与变量x无关；（5）tN ,即残差项服从正态分布22第22页（二）最小二乘预计量性质假如满足假设(1)(4)，由最小二乘法得到预计量 、含有一些特征，它们是最优线性无偏预计量（Best Linear Unbiased Estimators，简记BLUE）。23第23页预计量（estimator）：意味着 、是包含着真实、值预计量；线性（linear）：意味着 、与随机变量y之间是线性函数关系；无偏（unbiased）：意味着平均而言，实际得到 、值与其真实值是一致；最优（best）：意味着在全部线性无偏预计量里，OLS预计量 含有最小方差。24第24页(三)OLS预计量方差、标准差和其概率分布1.OLS预计量方差、标准差。给定假设(1)(4)，预计量标准差计算方程以下:其中，是残差预计标准差。（2.21）（2.22）25第25页参数预计量标准差含有以下性质：（1）样本容量T越大，参数预计值标准差越小；（2）和 都取决于s2。s2是残差方差预计量。s2越大，残差分布就越分散，这么模型不确定性也就越大。假如s2很大，这意味着预计直线不能很好地拟合散点；26第26页（3）参数预计值方差与 成反比。其值越小，散点越集中，这么就越难准确地预计拟合直线；相反，假如 越大，散点越分散，这么就能够轻易地预计出拟合直线，而且可信度也大得多。比较图22就能够清楚地看到这点。27第27页图22 直线拟合和散点集中度关系28第28页（4）项只影响截距标准差，不影响斜率标准差。理由是：衡量是散点与y轴距离。越大，散点离y轴越远，就越难准确地预计出拟合直线与y轴交点（即截距）；反之，则相反。29第29页2OLS预计量概率分布给定假设条件(5)，即 ，则 也服从正态分布系数预计量也是服从正态分布：（2.30）（2.31）30第30页需要注意是：假如残差不服从正态分布，即假设(5)不成立，但只要CLRM其它假设条件还成立，且样本容量足够大，则通常认为系数预计量还是服从正态分布。其标准正态分布为：（2.32）（2.33）31第31页不过，总体回归方程中系数真实标准差是得不到，只能得到样本系数标准差（、）。用样本标准差去替换总体标准差会产生不确定性，而且 、将不再服从正态分布，而服从自由度为T-2t分布，其中T为样本容量 即：(2.34)(2.35)32第32页3.正态分布和t分布关系图2-3 正态分布和t分布形状比较33第33页 从图形上来看，t分布尾比较厚，均值处最大值小于正态分布。伴随t分布自由度增大，其对应临界值显著减小，当自由度趋向于无穷时，t分布就服从标准正态分布了。所以正态分布能够看作是t分布一个特例。34第34页第二节第二节 一元线性回归模型统计检验一元线性回归模型统计检验 一、拟合优度(goodness of fit statistics)检验 拟合优度可用R2 表示：模型所要解释 是y相对于其均值波动性，即 （总平方和，the total sum of squares，简记TSS），这一平方和能够分成两部分：35第35页 =+（2.36）是被模型所解释部分，称为回归平方和（the explained sum of squares，简记ESS）；是不能被模型所解释残差平方和（RSS）,即 =36第36页TSS、ESS、RSS关系以下列图来表示愈加直观一些：图24 TSS、ESS、RSS关系37第37页拟合优度 因为 TSS=ESS+RSS所以 R2 （2.39）（2.37）（2.38）R2越大，说明回归线拟合程度越好；R2越小，说明回归线拟合程度越差。由上可知，经过考查R2大小，我们就能粗略地看出回归线优劣。38第38页不过，R2作为拟合优度一个衡量标准也存在一些问题：（1）假如模型被重新组合，被解释变量发生了改变，那么R2也将随之改变，所以含有不一样被解释变量模型之间是无法来比较R2大小。39第39页 （2）增加了一个解释变量以后，R2只会增大而不会减小，除非增加那个解释变量之前系数为零，但在通常情况下该系数是不为零，所以只要增加解释变量，R2就会不停增大，这么我们就无法判断出这些解释变量是否应该包含在模型中。（3）R2值经常会很高，到达0.9或更高，所以我们无法判断模型之间到底孰优孰劣。40第40页为了处理上面第二个问题，我们通惯用调整过R2来代替未调整过R2。对R2进行调整主要是考虑到在引进一个解释变量时，会失去对应自由度。调整过R2用 来表示，公式为：其中T为样本容量，K为自变量个数（2.40）41第41页二、假设检验假设检验基本任务是依据样本所提供信息，对未知总体分布一些方面假设做出合了解释假设检验程序是，先依据实际问题要求提出一个论断，称为零假设（null hypothesis）或原假设，记为H0（普通并列有一个备择假设（alternative hypothesis）,记为H1）然后依据样本相关信息，对H0真伪进行判断，做出拒绝H0或不能拒绝H0决议。42第42页假设检验基本思想是概率性质反证法。概率性质反证法依据是小概率事件原理。该原理认为“小概率事件在一次试验中几乎是不可能发生”。在原假设H0下结构一个事件（即检验统计量），这个事件在“原假设H0是正确”条件下是一个小概率事件，假如该事件发生了，说明“原假设H0是正确”是错误，因为不应该出现小概率事件出现了，应该拒绝原假设H0。43第43页假设检验有两种方法：置信区间检验法（confidence interval approach）和显著性检验法（test of significance approach）。显著性检验法中最惯用是t检验和F检验，前者是对单个变量系数显著性检验，后者是对多个变量系数联合显著性检验。44第44页（一）t检验下面我们详细介绍对方程（2.3）系数进行t检验主要步骤。（1）用OLS方法回归方程（2.3），得到预计值 及其标准差 。（2）假定我们建立零假设是：，备则假设是 （这是一个双侧检验)。45第45页则我们建立统计量 服从自由度为T-2t分布。（3）选择一个显著性水平（通常是5%）,我们就能够在t分布中确定拒绝区域和非拒绝区域，如图2-5。假如选择显著性水平为5%，则表明有5%分布将落在拒绝区域 46第46页 图2-5 双侧检验拒绝区域和非拒绝区域分布47第47页（4）选定显著性水平后，我们就能够依据t分布表求得自由度为T-2临界值，当检验统计值绝对值大于临界值时，它就落在拒绝区域，所以我们拒绝原假设，而接收备则假设。反之则相反。能够看到，t检验基本原理是假如参数假设值与预计值差异很大，就会造成小概率事件发生，从而造成我们拒绝参数假设值。48第48页(二）置信区间法仍以方程2.3系数为例，置信区间法基本思想是建立围绕预计值 一定限制范围，推断总体参数是否在一定置信度下落在此区间范围内。置信区间检验主要步骤（所建立零假设同 t检验）。49第49页（1）用OLS法回归方程（2.3），得到预计值 及其标准差 。（2）选择一个显著性水平（通常为5%），这相当于选择95%置信度。查t分布表，取得自由度为T-2临界值 。（3）所建立置信区间为（，）（2.41）50第50页（4）假如零假设值 落在置信区间外，我们就拒绝 原假设；反之，则不能拒绝。需要注意是，置信区间检验都是双侧检验，尽管在理论上建立单侧检验也是可行。51第51页（三）t检验与置信区间检验关系在显著性检验法下，当 绝对值小于临界值时，即：（2.42）时，我们不能拒绝原假设。对式（2.41）变形，我们能够得到：（2.43）能够看到，式（2.43）恰好是置信区间法置信区间式（2.41），所以，实际上t检验法与置信区间法提供结果是完全一样。52第52页 （四）第一类错误和第二类错误假如有一个零假设在5显著性水平下被拒绝了，有可能这个拒绝是不正确，这种错误被称为第一类错误，它发生概率为5。另外一个情况是，我们得到95一个置信区间，落在这个区间零假设我们都不能拒绝，当我们接收一个零假设时候也可能犯错误，因为回归系数真实值可能是该区间内另外一个值，这一错误被称为第二类错误。在选择显著性水平时人们面临抉择：降低犯第一类错误概率就会增加犯第二类错误概率。53第53页（五）P值P值是计量经济结果对应准确显著性水平。P值度量是犯第一类错误概率，即拒绝正确零假设概率。P值越大，错误地拒绝零假设可能性就越大；p值越小，拒绝零假设时就越放心。现在许多统计软件都能计算各种统计量p值，如Eviews、Stata等。54第54页第三节第三节 多变量线性回归模型统计检验多变量线性回归模型统计检验一、多变量模型简单介绍考查下面这个方程：t=1,2,3.T (2.44)对y产生影响解释变量共有k-1（x2t,x3t,xkt）个，系数（12.k）分别衡量了解释变量对因变量y边际影响程度。55第55页方程（2.44）矩阵形式为 这里：y是T1矩阵，X是Tk矩阵，是k1矩阵，u是T1矩阵（2.46）56第56页在多变量回归中残差向量为：（2.47）残差平方和为：（2.48）57第57页能够得到多变量回归系数预计表示式 （2.49）一样我们能够得到多变量回归模型残差样本方差（2.50）参数协方差矩阵 （2.51）58第58页二、拟合优度检验在多变量模型中，我们想知道解释变量一起对因变量y变动解释程度。我们将度量这个信息量称为多元判定系数R2。在多变量模型中，下面这个等式也成立：TSS=ESS+RSS （2.52）其中，TSS为总离差平方和；ESS为回归平方和；RSS为残差平方和。59第59页与双变量模型类似，定义以下：即，R2是回归平方和与总离差平方和比值；与双变量模型唯一不一样是，ESS值与多个解释变量相关。R2值在0与1之间，越靠近于1，说明预计回归直线拟合得越好。（2.53）60第60页能够证实：（2.54）所以，（2.55）61第61页三、假设检验（一）、t检验在多元回归模型中，t统计量为：（2.56）均服从自由度为（n-k）t分布。下面检验过程跟双变量线性回归模型检验过程一样。62第62页（二）、F检验F检验第一个用途是对全部回归系数全为0零假设检验。第二个用途是用来检验相关部分回归系数联合检验，就方法而言，两种用途是完全没有差异，下面我们将以第二个用途为例，对F检验进行介绍。63第63页为了解联合检验是怎样进行，考虑以下多元回归模型：（2.57）这个模型称为无约束回归模型（unrestricted regression），因为关于回归系数没有任何限制。64第64页假设我们想检验其中q个回归系数是否同时为零，为此改写公式（2.57），将全部变量分为两组，第一组包含k-q个变量（包含常项），第二组包含q个变量：（2.58）65第65页假如假定全部后q个系数都为零，即建立零假设：，则修正模型将变为有约束回归模型（restricted regression）（零系数条件）：（2.59）66第66页关于上述零假设检验很简单。若从模型中去掉这q个变量，对有约束回归方程（2.59）进行预计话，得到误差平方和 必定会比对应无约束回归方程误差平方和 大。假如零假设正确，去掉这q个变量对方程解释能力影响不大。当然，零假设检验依赖于限制条件数目，即被设定为零系数个数，以及无约束回归模型自由度。67第67页检验统计量为：（2.60）在这里，分子是误差平方和增加与零假设所隐含参数限制条件个数之比；分母是模型误差平方和与无条件模型自由度之比。假如零假设为真，式（2.60）中统计量将服从分子自由度为q，分母自由度为N-KF分布。68第68页对回归系数子集F检验与对整个回归方程F检验做法一样。选定显著性水平，比如1或5，然后将检验统计量值与F分布临界值进行比较。假如统计量值大于临界值，我们拒绝零假设，认为这组变量在统计上是显著。普通标准是，必须对两个方程分别进行预计，方便正确地利用这种F检验。69第69页F检验与R2有亲密联络。回想 ,则 ，（2.61）两个统计量含有相同因变量，所以 将上面两个方程代入（2.60），检验统计量能够写成：（2.62）70第70页第四节第四节 预测预测一、预测概念和类型（一）预测概念 金融计量学中，所谓预测就是依据金融经济变量过去和现在发展规律，借助计量模型对其未来发展趋势和情况进行描述、分析，形成科学假设和判断。71第71页（二）预测原理条件期望（conditional expectations），在t期Yt+1期条件期望值记作 ，它表示是在全部已知t期信息条件下，Y在t+1期期望值。假定在t期，我们要对因变量Y下一期（即t+1期）值进行预测，则记作。72第72页 在t期对Y下一期全部预测值中，Y条件期望值是最优（即含有最小方差），所以，我们有：（2.65）73第73页（三）预测类型：（1）无条件预测和有条件预测所谓无条件预测，是指预测模型中全部解释变量值都是已知，在此条件下所进行预测。所谓有条件预测，是指预测模型中一些解释变量值是未知，所以想要对被解释变量进行预测，必须首先预测解释变量值。74第74页（2）样本内（in-sample）预测和样本外（out-of-sample）预测所谓样本内预测是指用全部观察值来预计模型，然后用预计得到模型对其中一部分观察值进行预测。样本外预测是指将全部观察值分为两部分，一部分用来预计模型，然后用预计得到模型对另一部分数据进行预测。75第75页（3）事前预测和事后模拟顾名思义，事后模拟就是我们已经取得要预测值实际值，进行预测是为了评价预测模型好坏。事前预测是我们在不知道因变量真实值情况下对其预测。76第76页（4）一步向前（one-step-ahead）预测和多步向前（multi-step-ahead）预测所谓一步向前预测，是指仅对下一期变量值进行预测，比如在t期对t+1期值进行预测，在t+1期对t+2期值进行预测等。多步向前预测则不但是对下一期值进行预测，也对更下期值进行预测，比如在t期对t+1期、t+2期、t+r期值进行预测。77第77页二、预测评价标准、平均预测误差平方和（mean squared error，简记MSE）平均预测误差绝对值（mean absolute error,简记MAE）。变量MSE定义为：MSE=（2.66）其中 预测值，实际值，T时段数78第78页变量MAE定义以下：MAE=，变量定义同前 （2.67）能够看到，MSE和MAE度量是误差绝对大小，只能经过与该变量平均值比较来判断误差大小，误差越大，说明模型预测效果越不理想。79第79页2、Theil不相等系数 其定义为：（2.68）注意，U分子就是MSE平方根，而分母使得U总在0与1之间。假如U=0，则对全部t，完全拟合；假如U=1，则模型预测能力最差。所以，Theil不等系数度量是误差相对大小。80第80页Theil不等系数能够分解成以下有用形式：其中 分别是序列 和 平均值和标准差，是它们相关系数，即：（2.69）81第81页定义不相等比比如下：（2.70）（2.71）（2.72）82第82页偏误百分比 表示系统误差，因为它度量是模拟序列与实际序列之间偏离程度。方差百分比 表示是模型中变量重复其实际改变程度能力。协方差百分比 度量是非系统误差，即反应是考虑了与平均值离差之后剩下误差。理想不相等百分比分布是 。百分比 分别称为U偏误百分比，方差百分比，协方差百分比。它们是将模型误差按特征起源分解有效方法（）。83第83页第五节：模型选择第五节：模型选择一、“好”模型含有特征1、节约性（parsimony）一个好模型应在相对准确反应现实基础上尽可能简单。2、可识别性（identifiability）对于给定一组数据，预计参数要有唯一确定值。84第84页3、高拟合性（goodness of fit）回归分析基本思想是用模型中包含变量来解释被解释变量改变，所以解释能力高低就成为衡量模型好坏主要标准。4、理论一致性（theoretical consistency）即使模型拟合性很高，不过假如模型中某一变量系数预计值符号与经济理论不符，那么这个模型就是失败。85第85页5、预测能力（predictive power）著名经济学家弗里德曼（M.Friedman）认为：“对假设（模型）真实性唯一有效检验就是将预测值与经验值相比较”。所以一个好模型必须有对未来较强预测能力。86第86页二、用于预测模型选择因为R2将伴随模型解释变量增多而不停增加，按照此标准我们将不会得到最正确预测模型。所以必须对因为解释变量增多而造成自由度丢失施加一个处罚项，其中一个标准就是：87第87页对自由度丢失处罚更为严格标准：Akaike信息准则（Akaike information criterion,简记为AIC）和Schwarz信息准则（Schwarz information criterion,简记为SC）88第88页其中 是方程随机误差项方差预计值，k是解释变量个数，T是样本容量。能够看到，AIC和SC 处罚项 、比 更为严厉，而且相对来说SC标准对自由度处罚比AIC更为严厉。不论是AIC标准还是SC标准，从预测角度来看，度量值越低，模型预测会更加好。89第89页本章小节本章小节 本章内容在计量经济学中是最基础也是最主要部分。在这一章中，我们首先介绍了最小二乘法及其预计量性质和分布。在此基础上我们对一元线性回归模型统计检验进行了详细讨论，接着将模型扩展，讨论了多元线性回归模型。在用模型进行预测时，主要有两种情况：即有条件预测和无条件预测。最终一小节我们简单介绍了模型选择。90第90页