4参数估计PPT课件.ppt

二、估计量的评选标准二、估计量的评选标准一一、点估计、点估计 第四讲参数估计三、区间估计三、区间估计 四、正态总体均值与方差的四、正态总体均值与方差的 区间估计区间估计 1.参数估计是统计推断的基本问题之一，参数估计是统计推断的基本问题之一，问题中，问题中，并不一定要求密度函数，并不一定要求密度函数，而只要知道参数那么而只要知道参数那么在许多实际在许多实际分布就决定了。分布就决定了。考察灯泡厂生产的灯泡质量，考察灯泡厂生产的灯泡质量，由于种种随机由于种种随机易知灯泡使用寿命是随机变量，易知灯泡使用寿命是随机变量，记为记为且且 问题：问题：如何估计如何估计 和和？引例引例1 1因素的影响，因素的影响，知道了参数知道了参数，2 2的值，那么寿命的值，那么寿命X X的分布就完全的分布就完全确定了确定了.2.参数估计要解决问题参数估计要解决问题:总体分布函数的形式为已知总体分布函数的形式为已知,需要确定未知参数。需要确定未知参数。但其中参数但其中参数未知时，未知时，这类问题称为参数估计问题。这类问题称为参数估计问题。只有当参数只有当参数 确定后，确定后，才能通过才能通过概率密度函数计算概率。概率密度函数计算概率。对于未知参数，对于未知参数，如何应用样本如何应用样本所提供的信息去对所提供的信息去对其一个或多个未知参数进行估计。其一个或多个未知参数进行估计。对未知参数估计的两种方法：对未知参数估计的两种方法：1、点估计点估计2、区间估计、区间估计3.点估计问题：点估计问题：第一节第一节 点估计点估计4.基本原理：基本原理：总体矩是反映总体分布的最简单的总体矩是反映总体分布的最简单的数字特征，数字特征，当总体含有待估计参数时，当总体含有待估计参数时，总体矩是总体矩是待估计参数的函数。待估计参数的函数。样本取自总体，样本取自总体，即样本矩在一定程度上可以逼近总体矩，即样本矩在一定程度上可以逼近总体矩，一、矩估计法一、矩估计法故可用样本矩来估计总体矩。故可用样本矩来估计总体矩。这个估计方法是英国统计学家这个估计方法是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的 5.其中其中是待估参数是待估参数为来自为来自的样本的样本,存在存在,设总体的设总体的k阶矩阶矩则样本的则样本的k阶矩阶矩(大数定律大数定律)令令k个方程组个方程组设总体设总体X的分布函数为的分布函数为矩估计量的观察值称为矩估计值。矩估计量的观察值称为矩估计值。从中解得从中解得即为即为矩估计量矩估计量。6.矩估计的步骤：矩估计的步骤：连续型连续型离散型离散型7.例例 1 设某炸药厂一天中发生着火现象的次数设某炸药厂一天中发生着火现象的次数X服从服从 8.例例2 设总体设总体在在上服从均匀分布，上服从均匀分布，解：解：由矩法由矩法,解得解得9.10.11.12.是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法.2.极大似然法极大似然法13.极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.14.你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率.看来这看来这一枪是猎人射中的一枪是猎人射中的.这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想.以上这种选择一个参数使得试验结果具以上这种选择一个参数使得试验结果具有最大概率的思想就是极大似然法的基本思有最大概率的思想就是极大似然法的基本思想想.15.基本思想基本思想:若事件若事件 发生了发生了,则认为事件则认为事件中出现的概率最大。中出现的概率最大。最大似然估计最大似然估计 就是在一次抽样中就是在一次抽样中,若得到观测值若得到观测值则选取则选取若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验,在这在这n个可能结果个可能结果作为作为 的估计值的估计值，使得当使得当时时,样本出现的概率最大样本出现的概率最大。16.最大似然估计法:是是的一个样本值的一个样本值(如离散型如离散型)(1)设设事件事件 发生的概率为发生的概率为 的函数，的函数，形式已知形式已知X的分布律为：的分布律为：的联合分布律为的联合分布律为：样本的似然函数样本的似然函数17.即取即取使得：使得：与与有关有关,记为记为称为参数称为参数的的最大似然估计值最大似然估计值称为参数称为参数的的最大似然估计量最大似然估计量.达到最大的参数达到最大的参数作为作为的估计值，的估计值，现从中挑选使概率现从中挑选使概率样本的似然函数样本的似然函数18.19.20.两点说明两点说明21.2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时有时行不通，这时要用极大似然原则来求行不通，这时要用极大似然原则来求.使似然函数使似然函数 达到最大的达到最大的 即即 的的MLE，22.(4)在最大值点的表达式中在最大值点的表达式中,用样本值代入用样本值代入 就得参数的极大似然估计值就得参数的极大似然估计值.(1)由总体分布导出样本的联合分布律由总体分布导出样本的联合分布律 (或联合密度或联合密度);(2)把样本联合分布律把样本联合分布律(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到似然函数得到似然函数L();(3)求似然函数求似然函数L()的最大值点的最大值点(常常转化常常转化 为求为求ln L()的最大值点的最大值点)，即，即 的的MLE;求极大似然估计求极大似然估计(MLE)的一般步骤是：的一般步骤是：23.L(p)=设设X1,X2,Xn是取自总体是取自总体 Xb(1,p)的一个样的一个样本，求参数本，求参数p的极大似然估计的极大似然估计.解：似然函数为解：似然函数为:例例124.对数似然函数为：对数似然函数为：对对p求导并令其为求导并令其为0，=0得得即为即为 p 的的MLE.25.似然函数为：似然函数为：26.-它与矩估计量是相同的。它与矩估计量是相同的。27.解：似然函数为解：似然函数为 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的极大似然估计的极大似然估计.i=1,2,n例例328.解：解：i=1,2,n对数似然函数为对数似然函数为求导方法无法求参数求导方法无法求参数 的的MLE.29.是是对对故使故使 达到最大的达到最大的 即即 的的MLE，取其它值时，取其它值时，且是且是 的增函数的增函数由于由于这时要用极大似然原则来求这时要用极大似然原则来求.30.即即 为为 的的MLE.31.X X的概率密度为：的概率密度为：32.33.极大似然估计不变性极大似然估计不变性34.35.由于估计量作为样本的函数是一个随机变量由于估计量作为样本的函数是一个随机变量,对于不同的样本值对于不同的样本值,估计值也不同估计值也不同,因此评价一个因此评价一个估计量的优劣就不能仅由一个观测值来确定估计量的优劣就不能仅由一个观测值来确定,而要而要根据估计量的统计性质来评价根据估计量的统计性质来评价.通常一个好的估计通常一个好的估计量其观测值应在待估计参数的真值附近波动量其观测值应在待估计参数的真值附近波动,且波且波动的幅度越小越好动的幅度越小越好,即要使估计量与待估计参数在即要使估计量与待估计参数在某种统计意义下非常某种统计意义下非常“接近接近”.36.常用的几条标准是：常用的几条标准是：1无偏估计无偏估计2有效估计有效估计3相合估计相合估计(一致估计）一致估计）这里我们重点介绍前面两个标准这里我们重点介绍前面两个标准.第二节第二节 估计量的评选标准估计量的评选标准4.渐近正态估计渐近正态估计37.期望应等于未知参数的真值期望应等于未知参数的真值.则称则称 为为 的无偏估计的无偏估计.设设是未知参数是未知参数 的估计量，若的估计量，若.真值真值1 1无偏性无偏性估计量是随机变量，估计量是随机变量，样本值不同样本值不同估计值也估计值也不同。不同。估计值应在参数附近，估计值应在参数附近，定义定义无偏性的意义是：无偏性的意义是：用用 来估计来估计 时无系统偏差。时无系统偏差。则称则称是是的渐近无偏估计量的渐近无偏估计量.38.例例 设总体设总体X X的数学期望的数学期望 存在，存在，是是X的样本，求证的样本，求证均为均为的无偏估计。的无偏估计。为为2 2 的无偏估计量的无偏估计量不是不是2 2 的无偏估计量的无偏估计量39.证：40.41.不不是是 的无偏估计量的无偏估计量,是渐近无偏估计量是渐近无偏估计量用用S S2 2来估计来估计2 2有系统偏差。有系统偏差。42.为为2 的无偏估计量的无偏估计量也是也是2 的无偏估计量的无偏估计量均为均为的无偏估计的无偏估计43.一般情况下一般情况下44.2.有效性有效性:都是都是的无偏估计量；若的无偏估计量；若则称则称较较有效有效.设设若若 的所有二阶矩存在无偏估计量中有一个估计量的所有二阶矩存在无偏估计量中有一个估计量,使对任意无偏估计量使对任意无偏估计量 有有 45.例：由大数定律知例：由大数定律知一致性说明：对于大子样，由一次抽样得到的估一致性说明：对于大子样，由一次抽样得到的估计量计量 的值可作的值可作的近似值的近似值46.47.48.渐近正态估计渐近正态估计定理定理2.3 渐近正态估计一定是相合估计渐近正态估计一定是相合估计49.最小方差无偏估计最小方差无偏估计定理定理2.7 设设 是是 的一个无偏估计，的一个无偏估计，则则 是是 的最小方差无偏估计（的最小方差无偏估计（MVUE）的）的充要充要条件条件是：对任何满足条件是：对任何满足条件 的统计量的统计量 ，有，有。50.51.证明：证明：52.53.54.55.56.Th2.8 设总体设总体X的分布函数为的分布函数为 是未是未知参数，知参数，是来自总体是来自总体X的一个样本，的一个样本，如果如果 是是 的充分统计量，的充分统计量，是是 的任一无偏估计，记的任一无偏估计，记 则有则有57.Th2.9设总体设总体X的分布函数为的分布函数为 ，是来自总体是来自总体X的一个样本，如果的一个样本，如果 是是 的充分完备统计量，的充分完备统计量，为为 的任一无偏估计，的任一无偏估计，则有则有 为为 的惟一的最小方差无偏估计。的惟一的最小方差无偏估计。58.59.Th2.7给出了一个判别方法,且是充分必要条件。Th2.8解决了存在性问题，也就是求解的方法，即最小方差无偏估计在无偏的充分估计量中。Th2.9解决了惟一性问题，当然指概率意义下的惟一。60.有效估计与信息不等式有效估计与信息不等式61.62.63.罗克拉美不等式罗克拉美不等式 右端为罗克拉美下界，记为右端为罗克拉美下界，记为64.类似：类似：d.r.vd.r.v 注：有时能找到无偏估计使它的方差达到注：有时能找到无偏估计使它的方差达到 这个下界，有时达不到这个下界，有时达不到65.信息不等式的证明66.67.68.69.70.71.72.73.74.75.76.77.证明：先证必要性78.79.80.点估计总结点估计总结 在参数的点估计中，对于一个样本值只能得到参数的一在参数的点估计中，对于一个样本值只能得到参数的一个估计值。个估计值。虽然有一个明确的量的概念，但只能是一个近似值，虽然有一个明确的量的概念，但只能是一个近似值，1）只是样本的一个函数；）只是样本的一个函数；2）不同的样本有不同的点估计；）不同的样本有不同的点估计；3）总有偏差；）总有偏差；4）没有精确度；）没有精确度；5）不知道偏差范围。）不知道偏差范围。点估计分类点估计分类 1、有偏估计；、有偏估计；2、无偏估计、无偏估计点估计的方法点估计的方法 1、矩估计；、矩估计；2、最大似然估计、最大似然估计点估计的性质点估计的性质 1、无偏性；、无偏性；2、有效性（优效性）；、有效性（优效性）；3、相合性（一致性）、相合性（一致性）81.结结 论论矩估计矩估计1）无论总体服从什么分布，样本均值和方差）无论总体服从什么分布，样本均值和方差分别是总体均值和方差的矩估计量；分别是总体均值和方差的矩估计量；2）矩估计都是相合估计；）矩估计都是相合估计；3）总体的原点矩不存在时，方法失效；）总体的原点矩不存在时，方法失效；4）分布函数信息利用不充分；）分布函数信息利用不充分；5）不一定是好的估计。）不一定是好的估计。82.最大似然估计最大似然估计1）不存在原点矩时，可用最大似然估计法；）不存在原点矩时，可用最大似然估计法；2）利用求极值的方法，简单易行；）利用求极值的方法，简单易行；3）最大似然估计不仅是相合估计，且是渐近）最大似然估计不仅是相合估计，且是渐近正态估计；正态估计；4）充分利用了分布函数中参数的信息。）充分利用了分布函数中参数的信息。注意：导数不存在时，应使用其它方法求解注意：导数不存在时，应使用其它方法求解83.其它其它1）均方误差一致达到最小的最优估计不存在；）均方误差一致达到最小的最优估计不存在；2）无偏估计下，最小方差无偏估计量存在；）无偏估计下，最小方差无偏估计量存在；3）充分完备统计量，又是无偏估计量，则是）充分完备统计量，又是无偏估计量，则是 最小方差无偏估计量。最小方差无偏估计量。84.