点估计的几种方法.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,上一章介绍的抽样和抽样分布已为讨论统计推断,打下了必要的理论基础。何谓统计推断？就是利用,资,料提供的信息，做出尽可能精确和可靠的结论。严格,地说，就是从总体中抽取一个样本获得信息后，对,总体做出推断。由于信息的有限性和样本的随机性,做出的推断不可能绝对准确，总会有一定程度的不确,定性，而所出现的不确定性可以用概率的大小来衡量。,于是，我们称伴有一定概率的推断为,统计推断,（,statistical inference,）,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,估计废品率,估计新生儿的平均体重,估计湖中鱼数,估计平均降雨量,6.1,点估计的几种方法,6.2,点估计的评价标准,6.3,最小方差无偏估计,6.4,贝叶斯估计,6.5,区间估计,一般常用,表示参数，参数,所有可能取值组成的集合称为,参数空间，,常用,表示。参数估计问题就是根据样本对上述各种未知参数作出估计。,参数估计的形式有两种：,点估计与区间估计,。,设,x,1,x,2,x,n,是来自总体,X,的一个样本，我们用一个统计量 的取值作为,的估计值，称为,的,点估计（量）,，,简称,估计,。,在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一,是如何给出估计，即估计的,方法问题；,其二,是如何对不同的估计进行评价，即估,计的,好坏判断标准。,常用的主要有如下,两种：,矩估计法和最大似然估计法,.,6.1,点估计的几种方法,6.1.1,替换原理和矩法估计,一、,矩法估计,替换原理是指用样本矩及其函数去,替换,相应的总体矩及其函数，譬如：,用样本均值估计总体均值,E,(,X,),，,即,；,用样本方差估计总体方差,Var(,X,),，,即,用样本的,p,分位数估计总体的,p,分位数，,用样本中位数估计总体中位数,。,例6.1.1,对某型号的,20,辆汽车记录其每加仑汽油的行驶里程(,km,)，,观测数据如下：,29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9,矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是大数定律。,由此给出总体均值、方差和中位数的估计分别为:,28.695,0.9185,和,28.6,。,二、概率函数,P,(,x,),已知时未知参数的矩法估计,设总体具有已知的概率函数,P,(,x,1,k,)，,x,1,x,2,x,n,是样本，假定总体的,k,阶原点矩,k,存在，若,1,k,能够表示成,1,k,的函数,j,=,j,(,1,k,),，,则可给出诸,j,的矩法估计为,矩法的步骤：,设总体,X,的分布为,F,(,x,;,1,2,k,),，,k,个参数,1,2,k,待估计，,(,X,1,X,2,X,n,),是一个样本。,(1)计算总体分布的,i,阶原点矩,E,(,X,i,)=,i,(,1,2,k,)，,i,=1,2,k,，(,计算到,k,阶矩为止，,k,个参数)；,(2)列方程,从中解出方程组的解，记为,则,分别为参数,1,2,k,的矩估计。,例,6.1.2,设总体服从指数分布，由于,EX,=1/,，,即,=1/,EX,，,故,的矩法估计为,s,为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,另外，由于,Var,(X,),=1/,2,.因此，从替换原理来看，,的矩法估计也可取为,例,6.1.3,x,1,x,2,x,n,是来自,(,a,b,),上的均匀分布,U,(,a,b,),的样本，,a,与,b,均是未知参数，求,a,b,的矩估计。,补例1 设总体,X,的均值为,，,方差为,2,，均未知。,(,X,1,X,2,X,n,),是总体的一个样本，求,和,2,的矩估计。,解,:,令,解得矩法估计量为,6.1.2,极(最)大似然估计,定义,6.1.1,设总体的概率函数为,P,(,x,;,)，,是参数,可能取值的参数空间，,x,1,x,2,x,n,是样本，将样本的联合概率函数看成,的函数，用,L,(,;,x,1,x,2,x,n,),表示，简记为,L,(,),，,称为样本的,似然函数,。有,极大似然估计法的基本思想,一般说，事件,A,发生的概率与参数,有关，,取值不同，则,P,(,A,),也不同。因而应记,事件,A,发生的概率为,P,(,A,|,)。,若,A,发生了，则认为此时的,值应是在,中使,P,(,A,|,),达到最大的那一个,。这就是极大似然思想。,使得取该样本值发生的可能性最大。,由样本的具体取值，选择参数,的估计量,如果某统计量 满足,则称 是,的,极(最)大似然估计,，,简记为,MLE,（Maximum,Likelihood Estimate）,。,求极大似然估计通常分如下两种情形：,总体,X,的取值范围与未知参数无关；,总体,X,的取值范围与未知参数有关。,求极大似然估计的步骤,设总体,X,的分布中，有,m,个未知参数,1,2,m,，它们的取值范围,。,(1)写出似然函数,L,的表达式,如果,X,是离散型随机变量，分布律为,P,(,X=k,)，,则,如果,X,是连续型随机变量，密度函数为,f,(,x,)，,则,(2)在,内求出使得似然函数,L,达到最大的参数的估计值,它们就是未知参数,1,2,m,的极大似然估计。,一般地，,总体,X,的取值范围与未知参数无关,先将似然函数取对数,ln,L,，,然后令,ln,L,关于,1,2,m,的偏导数为0，得方程组,从中解出,例,6.1.6,设一个试验有三种可能结果，其发生概率分别为,现做了,n,次试验，观测到三种结果发生的次数分别为,n,1,n,2,n,3,(,n,1,+n,2,+n,3,=,n,)。,求,的最大似然估计。,例6.,1.7,设,(,X,1,X,2,X,n,),是来自正态总体,XN,(,2,),的一个样本，,2,未知，求,2,的极大似然估计。,解 设,(,x,1,x,2,x,n,),为样本,(,X,1,X,2,X,n,),的一个观察值，则似然函数为,解得,所以,2,的极大似然估计量分别为,思考：当,已知时，,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例,6.1.8,设,x,1,x,2,x,n,是来自均匀总体,U,(0,),的样本，试求,的极大似然估计。,补例,设,XU,a,b,，,a,b,未知，,(,X,1,X,2,X,n,),是总体,X,的一个样本，求,a,b,的极大似然估计。,解,X,的密度函数为,设,(,x,1,x,2,x,n,),为样本,(,X,1,X,2,X,n,),的一个观察值，则似然函数,由于,L,(,a,b,),是,b-a,的单调减函数,所以,b,应尽可能小,a,应尽可能大,。所以,极大似然估计有一个简单而有用的性质：如果,是,的极大似然估计，则对任一函数,g,(,),，,其极大似然估计为 。该性质称为极大似然估计的,不变性,，,从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,例,6.1.9,设,x,1,x,2,x,n,是来自正态总体,N,(,2,),的样本，则,和,2,的极大似然估计为 ，,于是由不变性可得如下参数的极大似然估计，它们是,:,标准差,的,MLE,是 ；,概率 的,MLE,是 ；,总体,0.90,分位数,x,0.90,=,+,u,0.90,的,MLE,是 ，其中,u,0.90,为标准正态分布的,0.90,分位数。,