线性回归模型的有偏估计.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,计量经济学的统计学基础,简要复习数理统计学,为什么要复习数理统计学,数理统计学是计量经济学的基础，它为计量经济学提供了唯一而有效的方法。,数理统计较难，而且许多同学对于数学公式与数学符号的健忘，提醒我们有必要在展开计量经济学讨论之前，对本课程中经常使用到的数理统计学基本内容事先进行一些温习和回顾。,主要内容,第一节 基本概念,第二节 对总体的描述随机变量的数字特征,第三节 对样本的描述样本分布的数字特征,第四节 随机变量的分布总体和样本的连接点,第五节 通过样本，估计总体（一）估计量的特征,第六节 通过样本，估计总体（二）估计方法,第七节 通过样本，估计总体（三）假设检验,第一节 基本概念,总体和个体,样本和样本容量,随机变量,统计量,随机变量的分布函数和分布密度函数,1.1 总体（集合）、个体（构成集合的元素）、样本和样本容量,研究对象的全体称为总体或母体，组成总体的每个基本单位称为个体。,总体中抽出若干个个体组成的集体称为样本。样本中包含的个体的个数称为样本的容量，又称为样本的大小。,注意：抽样是按,随机原则,选取的，即总体中每个个体有同样的机会被选入样本,。,1.2,随机变量,根据概率不同而取不同数值的变量称为随机变量（,Random Variable）。,一个随机变量具有下列特性：可以取许多不同的数值，取这些数值的概率为,p，,总体、随机变量、样本间的联系,样本就是一个随机变量，所谓“样本容量为,n,的样本”就是,n,个相互独立且与总体有相同分布的随机变量,X1，,Xn,。,每一次具体抽样所得的数据，就是,n,元随机变量的一个观察值，记为（,x1，,xn,）。,样本是总体的一部分。总体一般是未知的，一般要通过样本才能部分地推知总体的情况。,1.3 统计量,设（,x,1,，x,2,，,x,n,）,为一组样本观察值，函数,y=f（x,1,，x,2,，,x,n,）,若不含有未知参数，则称为统计量。,统计量一般是连续函数。由于样本是随机变量，因而它的函数,y,也是随机变量，所以，统计量也是随机变量。,统计量一般用它来提取由样本带来的总体信息。,1.4 随机变量的分布函数,定义,若,X,为一随机变量，对任意实数,x，,称,F（x）P（X x）,为随机变量,X,的,分布函数,。,连续型随机变量的分布密度,定义：对于任何实数,x，,如果随机变量,X,的分布函数,F（x）,可以写成,分布密度函数的性质：,概率密度函数的大小能够反映,X,在,x,附近取值的概率的大小，从而比分布函数更直观。,举例：正态分布,XN（u，）,x2,x2,f(x),F(x),x1,x1,X,X,第二节 对总体的描述 随机变量的数字特征,2.1、数学期望,2.2、方差,2.3、数学期望与方差的图示,2.1.1 数学期望：一个加权平均值,数学期望描述随机变量（总体）的一般水平。,定义2.1离散型随机变量数学期望的定义：,定义2.2 连续型随机变量数学期望的定义,变量,X,的取值,x1,x2,xn,相应概率,P,p1,p2,pn,2.1.2数学期望的性质,（,1）如果,a、b,为常数，则,E(,aX,+b)=,aE,(X)+b,（2）,如果,X、Y,为两个随机变量，则,E(X+Y)=E(X)+E(Y),（3）,如果,g(x),和,f(x),分别为,X,的两个函数，则,Eg(X)+f(X)=Eg(X)+Ef(X),（4）,如果,X、Y,是两个独立的随机变量，则,E(X,.,Y)=E(X),.,E(Y),2.2.1 方差的定义,定义 离均差,如果随机变量,X,的数学期望,E(X),存在，称,X-E(X),为随机变量,X,的离均差。显然，随机变量离均差的数学期望是0，即,E X-E(X)=0,定义 方差、标准差,随机变量离均差平方的数学期望,叫随机变量的方差，记作,Var,(x),或,D(x)。,方差的算术平方根叫标准差。,2.2.2方差的意义,（,1）离均差和方差都是用来描述离散程度的，即描述,X,对于它的期望的偏离程度，这种偏差越大，表明变量的取值越分散。,（2）一般情况下，我们采用方差来描述离散程度。,因为离均差的和为0，无法体现随机变量的总离散程度。方差中由于有平方，从而消除了正负号的影响，并易于加总。,2.2.3 方差的性质,（,1）,Var,(c)=0,（2）,Var,(c+x)=,Var,(x),（3）,Var,(,cx,)=c,2,Var(x),（4）x,y,为相互独立的随机变量，则,Var,(x+y)=,Var,(x)+,Var,(y)=,Var,(x-y),（5）,Var,(x)=E(x,2,)-(E(x),2,数学期望与方差的图示,数学期望描述随机变量的集中程度，方差描述随机变量的分散程度。,1.方差同、期望变大 2.期望同、方差变小,5,10,5,5,第三节 对样本的描述 样本分布的数字特征,一、样本均值：,二、样本方差、样本标准差,第四节 随机变量的分布 总体和样本的连接点,4.1 几种重要的分布,4.2 分布：总体和样本之间的连接点,学习的重点应放在确定,X,服从什么分布，和各种分布的联系上。,4.1 几种重要的分布,4.1.1 正态分布,4.1.2 卡方分布,4.1.3,t,分布,4.1.4,F,分布,4.1.5 临界值点,4.1.1 正态分布,定义 正态分布的定义,定理 正态分布的数学期望和方差,正态分布图示,x2,x2,f(x),F(x),x1,x1,X,X,正态分布的标准化,定义 标准正态分布,定理 正态分布标准化,关于正态分布的和,4.1.2,2,分布,2,分布的定义,N=7,N=11,概率,x,N,为自由度,定理,2,分布的和仍然服从,2,分布,4.1.3,t,分布,t,分布的定义,概率密度,x,标准正态分布,t-,分布,0,4.1.4,F,分布,F,分布的定义,x,概率密度,4.1.5 临界值点,：,（1）标准正态分布、,t,分布临界值点（双侧）,/2,/2,1-,类似：,临界值点：（2）卡方分布（双侧）、,F,分布（单侧）临界值点,x,概率密度,1-,/2,/2,1-,x,4.2 分布：总体和样本之间的连接点,第五节,通过样本，估计总体（一）估计量的特征,无偏性,有效性,兼顾无偏和有效：最小均方误,一致性,大样本下，具一致性的估计量具“无偏”和“有效”特性。,5.1 无偏性定义,的真值,的真值,有偏,无偏,5.2 有效性定义,形象感觉无偏性和有效性：,重庆长安厂4支比赛用枪的抽样结果,准而不精,又精又准,精而不准,不精不准,一次射击就是一次抽样。试问：,哪些是无偏估计？,哪些是有偏估计？,哪些是有效估计？,偏差与方差的权衡：,最小均方误,有偏，方差极小,无偏，方差极大,5.3 一致性的定义,n,增大时，一致估计量的“无偏,”“,有效”特性,N小,N大,N,极大,的,真值,。,第六节,通过样本，估计总体（二）估计方法,点估计,区间估计,区间估计的概念、步骤,应用：对总体期望的区间估计,1、已知方差，对数学期望,E,进行区间估计,正态总体,一般总体大样本下,2、方差未知，对数学期望,E,进行区间估计,大样本下/小样本下,6.1 区间估计的概念,所谓区间估计就是,以一定的可靠性,给出被估计参数的,一个可能的取值范围,。,具体作法是找出两个统计量,1,(,x,1,x,n,),与,2,(,x,1,x,n,)，,使,P(,1,2,)=1-,(,1,2,),称为置信区间，1-称为置信系数（置信度），称为冒险率（测不准的概率）或者显著水平，一般取5%或1%。,对区间估计的形象比喻,我们经常说某甲的成绩,“,大概80分左右,”,，可以看成一个区间估计。（某甲的成绩,为被估计的参数,）,P(,1,2,)=,大概的准确程度（1-）,如：,P(75 =30,时，近似地，样本平均数,N(，,2,/n)。,所以，对于大样本仍可以按正态总体进行均值,的区间估计。,6.4 方差未知，正态总体，对数学期望,E,u,的区间估计,（1）大样本下,根据中心极限定理，,Var,(,),可以用 代替，所以仍按已知方差正态分布的方法进行的置信区间估计。,（2）小样本下,区间估计，统计量的选择小结,第七节 通过样本，估计总体（三）假设检验,基本概念：假设检验，原假设/备择假设,小概率事件原理在假设检验中的应用,置信水平,假设检验的步骤,应用：,正态总体期望的假设检验（方差已知/方差未知,）（,t,检验等）,方差的假设检验,7,.1 假设检验的概念,定义：称对任何一个随机变量未知的分布类型或参数的假设为统计假设，简称假设。,检验该假设是否正确称为假设检验,。,在统计假设，如,H,0,:p=0.5 （,称为原假设）,H,1,:p 0.5 （,称为备择假设）,7.2,“,小概率原理,”,在假设检验中的应用,数理统计学中的“小概率原理”认为：概率很小的事件在一次抽样试验中几乎是不可能发生的。,在,H,0,成立的条件下，统计量落在拒绝域为一个小概率事件，因此，在一次抽样试验中，依据小概率原理，是不会发生的。,要是小概率事件（“统计量落在拒绝域”）居然发生了。那么，只能是提出的假设,H,0,发生了错误，所以必须拒绝,H,0,。,显著性水平,是小概率事件发生的概率；,在假设检验中也称为置信水平。,7.3 假设检验的步骤：,Step1:,分析问题，提出原假设和备择假设；,Step2:,选择和计算统计量,U,：,在原假设成立时，,U,的分布已知；含有要检验的参数；各个参数应该都是已知的、可求的。,Step3：,构造小概率事件,：,Step4：,判断小概率事件是否发生：,Step5：,下结论：若小概率事件发生，拒绝原假设,H0；,选择备择假设,H1。,否则，原假设成立。,假设检验的具体操作步骤,（以正态总体、已知方差，检验均值,u,为例）,1、提出零假设,H,0,：,=,0,H,1：,0,3、,确定显著水平，如=0.05，查表得相应的临界值,/2,4、判断和下结论：若|,U|,/2,，,拒绝,H,0,；,若|,U|,/2,接受,H,0,；,（,判断区域图示）,5、,依据结论，作出经济学上的解释。,7.4 假设检验的应用正态总体均值,u,的假设检验,设总体,N（，,2,），,0,是已知数。对于其参数的假设检验，讨论2种情况：,1.已知方差,2,，,H,0,：=,0，,H,1,：,0,2.,未知方差,2,，,H,0,：=,0，,H,1,：,0,课本：第二章第三节（,P30）,回归系数的区间估计；,随机扰动项方差的区间估计；,回归系数的假设检验（,t,检验）。,原假设、意义。,随机扰动项方差的假设检验,临界值点,：,（1）标准正态分布、,t,分布临界值点（双侧）,/2,/2,1-,类似：,返回,临界值点：（2）卡方分布（双侧）、,F,分布（单侧）临界值点,x,概率密度,1-,/2,/2,1-,x,返回,判断区域图示如下,x,f(x),不拒绝,H0,区域,拒绝域,拒绝域,返回,