第7章参数估计.doc

第七章 参数估计
【基本要求】1、理解参数估计的概念，熟练掌握点估计的矩估计法和极大似然估计法；
2、掌握估计量好坏的三个评选标准；
3、理解理解区间估计的概念，熟练掌握单个正态总体的均值和方差的置信区间；知道两个正态总体的均值差和方差比的区间估计。
【本章重点】参数估计的矩估计法和极大似然估计法；区间估计的概念
【本章难点】估计的矩估计法和极大似然估计法；区间估计的概念
§7.0 前言
上一章，我们讲了数理统计的基本概念，从这一章开始，我们研究数理统计的重要内容之一即统计推断。
所谓统计推断，就是根据从总体中抽取得的一个简单随机样本对总体进行分析和推断。即由样本来推断总体，或者由部分推断总体。——这就是数理统计学的核心内容。它的基本问题包括两大类问题，一类是估计理论；另一类是假设检验。而估计理论又分为参数估计与非参数估计，参数估计又分为点估计和区间估计两种，这里我们主要研究参数估计这一部分数理统计的内容。
§7.1 参数估计的概念
统计推断的目的，是由样本推断出总体的具体分布。一般来说，要想得到总体的精确分布是十分困难的。由第六章知道：只有在样本容量n充分大时，经验分布函数（以概率1），但在实际问题中，并不容许n很大。而由第五章的中心极限定理，可以断定在某些条件下的分布为正态分布，也就是说，首先根据样本观测值，对总体分布的类型作出判断和假设，从而得到总体的分布类型，其中含有一个或几个未知参数；其次，对另外一些并不关心其分布类型的统计推断问题，只关心总体的某些数字特征，如期望、方差等，通常把这些数字特征也称为参数。这时，抽样的目的就是为了解出这些未知的参数。
例1 设某总体，试由样本来估计参数。
例2 设某总体，试由样本来估计参数。
在上述二例中，参数的取值虽未知，但根据参数的性质和实际问题，可以确定出参数的取值范围，把参数的取值范围称为参数空间，记为。
如：例1：= 例2：=
定义 设总体的分布函数为，其中是一个未知的参数向量，参数估计问题就是要从样本出发构造一些统计量作为总体某些参数（或数字特征）的估计量。点估计就是构造统计量。

以的值作为的近似值。对进行估计，叫(点)估计量。若样本观测值代入称为的估计值。区间估计是根据样本构造出适当的区间，它以一定的概率包含未知参数。即对总体中的一维参数，构造两个统计量：
=,=
使得[，]以较大的概率包含待估参数，此时，称[，]为的区间估计。
§7.2点估计量的求法
点估计量的求解方法很多，这里主要介绍矩估计法和极大似然估计法，除了这两种方法之外，还有Bayes方法和最小二乘法等。
一、矩估计法（K. Pearson）
1. 基本思想
矩估计法是一种古老的估计方法。大家知道，矩是描写随机变量的最简单的数字特征。样本来自于总体，从前面可以看到样本矩在一定程度上也反映了总体矩的特征，且在样本容量增大的条件下，样本的阶原点矩以概率收敛到总体的阶原点矩，即，矩估计法就是在总体的各阶矩存在的条件下，用样本的各阶矩去估计总体相应的各阶矩，又由于总体的分布类型已知，总体的各阶矩可表示为未知参数的已知函数，这样样本的各阶矩就与未知参数的已知函数联系起来，从而得到参数的各阶矩。
2. 具体做法
设总体的分布密度为，则称为总体的阶原点矩。一般来说，是个参数的函数，即。
类似地，设是来自总体的容量为样本，称

矩估计法就是用样本矩作为总体矩的估计量，且形成了个方程：
=
然后求解。
矩估计法：上述方程组的解就是参数的矩估计法的估计量。对于样本的一组观测值，方程组
=
的解就是参数的矩估计法的估计值。
例 设总体的均值及方差都存在但均未知，且有>0，又设是来自总体的一个样本，试求，的矩估计量。
解：因为 令
所以得
例 设是概率密度为

的总体的样本，其中都是未知参数，试求与的矩估计量.
解 ∵∴又方程组
，解得
其中.
注 上述结果表明：总体均值与方差的矩估计量的表达式不会因总体的分布不同而异；同时，我们又注意到，总体均值是用样本均值来估计的，而总体方差（即总体的二阶中心矩）却不是用样本方差来估计的，而是用样本二阶中心矩来估计。那么，能否用来估计呢？能的话，与哪个更好？下节课将再作详细讨论。
这样看来，虽然矩估计法计算简单，不管总体服从什么分布，都能求出总体矩的估计量，但它仍然存在着一定的缺陷：对于一个参数，可能会有多种估计量。比如下面的例子：
例 设，未知，是的一个样本，求。
，
由,可知是两个不同的统计量，但都是的估计。这样，就会给应用带来不便，为此，R. A. Fisher提出了以下的改进的方法：
二、极大似然估计法（R. A. Fisher）
1 极大似然估计的基本思想
极大似然估计法是求估计的另一种方法。它最早是由高斯所提出的，后来为费歇尔在1912年重新提出，并且证明了这方法的一些性质。极大似然估计这一名称也是费歇尔给的，这是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法。极大似然原理的直观想法是：一个随机试验如有若干个可能结果…，若在一次试验中结果 出现，则一般认为试验条件对出现有利，也即出现的概率最大。
若总体X的分布律为[或密度函数为]，其中为待估参数（）。
引例 设在一个口袋中装有许多白球和黑球，但不知是黑球多还是白球多，只知道两种球的数量之比为1:3就是说抽取到黑球的概率为或。如果用有放回抽取的方法从口袋中抽取个球，发现有一个是黑球，试判断?。
如果有放回从袋中抽取个球，那么黑球数目服从二项分布：

于是

0
1
2
3

当时，（取的三个球中有一个黑球）=大。选取参数总体较合理。故取的估计值。
因此，定义估计值如下：

使得

其中是取任何异于的值。
极大似然估计基本思想：根据样本的具体情况，选择参数p的估计，使得该样本发生的概率最大。
2 极大似然估计的求法
设是来自总体的一个样本，是相应于样本的一样本观测值，易知：样本取到观测值的概率为
（离散型）
（或样本落在点的邻域（边长分别为的维立方体）内的概率近似地为（连续性）），
令（或），则概率随的取值变化而变化，它是的函数，称为样本的似然函数（注意，这里的是已知的样本观测值，它们都是常数）。如果已知当时使取最大值，我们自然认为作为未知参数的估计较为合理。
极大似然方法就是固定样本观测值，在取值的可能范围内，挑选使似然函数达到最大（从而概率达到最大）的参数值作为参数的估计值，即，这样得到的与样本观测值有关，常记为，称之为参数的极大似然估计值，而相应的统计量称为参数的极大似然估计量。这样将原来求参数的极大似然估计值问题就转化为求似然函数的最大值问题了。
设总体的形式已知，参数未知()， 是来自总体的样本观测值。记，选择参数的估计，使样本取值附近的概率

达到最大，等价使达到最大。称

为样本值的似然函数。
如总体是离散型，表示分布律，则

定义 如果似然函数在达到最大值，则称分别为的极大似然估计。
3 具体做法
①在很多情况下，和关于可微，因此据似然函数的特点，常把它变为如下形式：（或），该式称为对数似然函数。由高等数学知：的最大值点相同，令，求解得：，从而可得参数的极大似然估计量为；
②若和关于不可微时，需另寻方法。
例 设总体，为未知参数，是一个样本观测值，求参数的极大似然估计。
解：因为总体的分布律为：，=0,1，故似然函数为

而，令，解得的极大似然估计值为，所以的极大似然估计量为：。
例 设总体，，未知，为的一个样本，是的一个样本观测值，求，的极大似然估计值及相应的估计量。
解：，所以似然函数为：

取对数：，分别对，求导数：

由（1），代入（2）
的极大似然估计值分别为： ；
的极大似然估计量分别为：，
例 设总体 未知，是一个样本观测值，求的极大似然估计。
解：由于，则似然函数为：

通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法：
记，有，则对于满足条件：的任意有，即在时取得最大值

故的极大似然估计值为，的极大似然估计量为。
或者令，则，从而似然函数为：
，
记，可得，故的极大似然估计量为。
3. 极大似然估计量有如下的性质：
定理 在一定的条件下，若，未知参数的已知函数为，分别为的最大似然估计，则g()为g()的极大似然估计。
例 设是正态总体的样本，试的极大似然估计。
解 本题的关键是将看作参数的函数，从而代于的极大似然估计可得的极大似然估计，由于，故

由于正态总体的极大似然估计为

故的极大似然估计为
§7.3 估计量的评选标准
从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题，而判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
一、无偏性
设是未知参数的估计量，则是一个随机变量，对于不同的样本观测值就会得到不同的估计值，我们总希望估计值在的真实值左右徘徊，而若其数学期望恰等于的真实值，这就导致无偏性这个标准。
定义 设是的估计量，若，对一切，则称为的无偏估计量，否则称为的有偏估计量。其偏差度为。如果，则称为的渐近无偏估计量。
定义 设未知参数的已知函数的估计量为,如果对一切都有

则称为的无偏估计量。
例 设总体有二阶矩，,存在，是该总体的样本，则为的无偏估计，为的无偏估计，但不是的无偏估计，它是的渐近无偏估计。
说明: (1)若为的无偏估计，为的已知函数，而不一定是的无偏估计。
(2)有时的有偏估计也可稍加修改为无偏估计。
例如 设，是的无偏估计，但不是的无偏估计，可修改为它是的无偏估计。
例 设为总体的一个样本，试证存在常数，使为的无偏估计。
证

要使，只须取
无偏估计只涉及到一阶矩（均值），虽然计算简便，但是往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好。
例 设总体，概率密度函数为 ，其中为未知，又是的一样本，则和都是的无偏估计。
证明：，是的无偏估计
而服从参数为的指数分布，其密度为

所以，即是的无偏估计。事实上，中的每一个分量均可作为的无偏估计。
那么，究竟哪个无偏估计更好、更合理，这就看哪个估计量的观察值更接近真实值的附近，即估计量的观察值更密集的分布在真实值的附近。我们知道，方差是反映随机变量取值的分散程度。所以无偏估计以方差最小者为最好、最合理。为此引入了估计量的有效性概念。
二、有效性
定义 设（）与（）都是的无偏估计量，若有，则称有效。若对的无偏估计都有：，则称为的最小方差无偏估计。
定义 （均方误差（）） 设是未知参数的估计量，则估计量的均方误差定义为

的下述结论是重要的：

上述结论表明：估计量的可以分解成为两部分估计量的方差和平方偏差。
定义（均方误差准则） 设和都是的估计量， 如果对一切都有

且存在，有严格不等号成立，则称比有效。
例 设为来自总体的一个样本，证明

都是的无偏估计并指出哪一个更有效。
解 的概率密度为

的概率密度为

故比有效。
为了进一步地计算最小方差无偏估计，给出如下定理：
定理 (Rao-Gramer不等式) 设总体X的分布密度为，是的一个样本，为的任一无偏估计，若满足：
1) 集合与无关；
2) 对一切都存在，且；
3) 记，满足，则 ，
其中称为Fisher信息量。
定理给出无偏估计方差的一个下界——罗-克拉美下界.
定义 （最小方差无偏估计（））当无偏估计量的方差等于它罗-克拉美下界时，则称为达到方差界的无偏估计量，或最小方差无偏量。
例 设总体的概率分布为（），是来自总体的一个样本，证明样本均值是参数的无偏估计量，且达到罗-克拉美下界。
证明 显然，即样本均值是参数的无偏估计量。又因为

所以

即罗-克拉美下界是；另一方面

因此样本均值是参数的无偏估计量且达到罗-克拉美下界；从而是。
例 设总体服从正态分布，是来自总体的一个样本，试求参数和的无偏估计量的方差下界。
解 随机变量的概率密度函数为

则

所以和的无偏估计量的方差下界分别为和。
现在考虑样本均值和样本方差，它们分别为和的无偏估计量，且，
（）
因此是参数的，而不是的。
注：在定理中，条件1），2）称为正则条件，一般分布都满足，常见的分布有不满足（其中为未知），因而不能用定理。
定义 设是的任一无偏估计，称为无偏估计的有效率。
定义 若存在的无偏估计，使，则称是的有效估计。
可见：在正态分布中，是的有效估计；是的最小方差无偏估计，不是有效估计，其效率为：。故有效估计一定是最小方差无偏估计，反之不然。可见，有效估计要求的更为严格。
三、一致性（相合性）
关于无偏性和有效性是在样本容量固定的条件下提出的，即，我们不仅希望一个估计量是无偏的，而且是有效的，自然希望伴随样本容量的增大，估计值能稳定于待估参数的真值，为此引入一致性概念。
定义 设的估计量为，如果对任意的,都有

则称为的相合估计量。
定理 如果为参数的一个渐近无偏估计量且，则为参数的一个一致性估计量。
证明 由马尔科夫夫不等式，对任何的，我们有

因为，，所以

即为参数的一个一致性估计量。
例 设总体的均值与方差都存在，试证样本均值是的一致估计。
证 ，由切比雪夫不等式，当时，
是的一致估计。
不过，一致性只有在n相当大时，才能显示其优越性，而在实际中，往往很难达到，因此，在实际工作中，关于估计量的选择要示具体问题而定。
§7.4 区间估计
从点估计中，我们知道：若只是对总体的某个未知参数的值进行统计推断，那么点估计是一种很有用的形式，即只要得到样本观测值，点估计值能给我们对的值有一个明确的数量概念。但是仅仅是的一个近似值，它并没有反映出这个近似值的误差范围，这对实际工作都来说是不方便的，而区间估计正好弥补了点估计的这个缺陷。前面我们知道：区间估计是指由两个取值于的统计量，组成一个区间，对于一个具体问题得到的样本观测值之后，便给出了一个具体的区间[，]，使参数尽可能地落在该区间内。
事实上，由于，是两个统计量，所以[，]实际上是一个随机区间，它覆盖（即[，]）就是一个随机事件，而就反映了这个区间估计的可信程度；另一方面，区间长度也是一个随机变量，反映了区间估计的精确程度。我们自然希望反映可信程度越大越好，反映精确程度的区间长度越小越好。但在实际问题，二者常常不能兼顾。为此，这里引入置信区间的概念，并给出在一定可信程度的前提下求置信区间的方法，使区间的平均长度最短。
一、置信区间的概念
设, 是两个统计量，且满足，则称为一随机区间。
定义 对于给定的正数（通常取或），如果对一切都有
（*）
则称为的置信度为的置信区间，称为置信区间的置信度，称分别为置信下限和置信上限。
定义中，（*）式的意义在于：若反复抽样多次，每个样本观测值确定一个区间[]，每个这样的区间要么包含的真值，要么不包含的真值，据Bernoulli大数定律，在这样多的区间中，包含真值的约占，不包含真值的约仅占，比如，=0.005,反复抽样1000次,则得到的1000个区间中不包含真值的区间仅为5个.
引例 某旅游社为调查当地每一旅游者的平均消费额，随机访问了100名旅游者，得知平均消费额（元）。根据经验，已知旅游者消费额服从正态分布，且标准差（元），那么该地旅游者平均消费额的置信度为95%的置信区间是什么？
设旅游者消费额为，且知，此题是求的置信区间问题。
（1）找的较好点估计（极大似然估计或无偏估计）， 。
（2）为使，要选有关与的函数且并能确定其分布。
此时当已知时，，称为枢轴变量。对给定的，使

（3）将不等式 等价变形

计算得 ，
于是，当地每位旅游者置信度为95%的平均消费额在[77.6元，82.4元]之间。
置信区间的一般求法(枢轴量法)：
(1)从的一个较好点估计出发，构造与的一个函数，且知其分布又与无关，函数称为枢轴变量。
(2)记的上分为数和上分位数为和，使对给定的，有

利用不等式运算，将不等式进行等价变形，使得最后得到形如：

的不等式。则就是的置信区间，这时有：

定义 叫区间半径，或叫区间长度。
二、正态总体的参数的区间估计
1. 一个正态总体的均值、方差的置信区间
设总体，是来自总体的样本，为样本观测值.
(1) 已知，均值的置信度为的置信区间为：

证明 因为，所以 ，由，得的置信区间

其中满足

(2) 未知，均值的置信度为的置信区间为：
。
证明 因为，所以由，得的置信区间

其中满足：

例 为测定某种矿沙的镍含量(%),共抽取了五个样品,其镍含量分别为

且测定值, 试在以下两种情形下, 分别求出此种矿沙镍含量之均值的置信区间.
① 总体方差为已知；②总体方差为未知.
解 ，，，
①统计量， 则置信区间为，查表得，所以的置信区间为
。
② 统计量， 置信区间为
查表得，所以的置信区间为

例 设总体未知，已知，为使总体均值的置信水平为的置信区间长度为，则应抽取的样本容量最少应为 。
分析 在方差已知的条件下，均值的置信区水平的置信区间为，其区间长度为，为使，最少应为。
解 应填。
(3) 未知，方差的置信度为的置信区间为：

的的置信区间为：

证明 因为，所以由
和，
得方差的置信区间为

均方差的置信区间为

例 设总体为其样本的观测值，试求参数的置信度为0.95的置信区间(其中)。
解 因为，，查表得，
所以的置信度为0.95的置信区间为

2. 两个正态总体均值差方差比的置信区间
总体
样本
均值
样本方差

两个主体相互独立。
(1) 已知，均值差的置信区间为

证明 因为，由，得的置信区间

例 设两总体，相互独立，从中抽取的样本，=82，从中抽取的样本，，试求的95%的置信区间。
解 因为，=82，，，查表的，所以的95%的置信区间

(2) 未知，但，的置信区间为

其中
证明 因为，其中，所以由，得的置信区间

例 设甲、乙两人加工同一种产品，其产品的直径分别为随即变量为且，.今从它们的产品中分别抽取若干进行检测，测得数据如下：，，假设。求的置信度为95％的置信区间。
解 因为且，，查表的
，所以置信区间为

(3) 未知，方差比的置信区间为：

证明 因为

所以由，得方差比的置信区间

例 甲、乙两车间生产某种产品，随机抽取甲、乙车间的生产产品进行检测，数据如下：,设两车间产品相互独立，且分别服从正态分布这里均未知，求方差比的置信度为0.90的置信区间。
解 ，，，，查表得：
则，所以两总体方差比的95%的置信区间为
=
(4) 已知，的置信区间为：
[]
(4) 已知，的置信区间为：
[]
三、单侧置信区间
设为总体的一个未知分布参数，为总体的随机样本。若由样本确定的统计量，对于给定的满足：
{}
则称随机区间为的置信水平为的单侧置信区间，称为的置信水平为的单侧置信下限。
若由样本确定的统计量，对于给定的满足：
{}
则称随机区间为的置信水平为的单侧置信区间，称为的置信水平为的单侧置信上限。
例 从某批灯泡中随机抽取10只做寿命试验，测得，，设灯泡寿命服从正态分布，试求平均寿命的95%的单侧置信下限。
解 已知 ，，，，查表得，故平均寿命的95%的单侧置信区间为

平均寿命的95%的单侧置信下限为1488.41。
四、非正态总体参数的区间估计
对于非状态总体，因其确切的抽样分布往往难以求出，这时进行参数的区间估计时有一定的困难。但我们可以求出某些统计量在大样本条件下的近似分布，这样将问题的本质又归结于正态总体情形。
例如，设总体，其中为未知参数，为来自总体的样本，则由德莫佛-拉普拉斯大数定理知：当样本容量很大时，有

于是，对于给定的，我们有

即

求解二次方程(，即

就可以得到的100%的置信区间。
在实际中，我们可以用来代替，其中，，则我们有

故的100%的置信区间为

例 在试验的1000个电子元件中，共有100个失效，试求整批产品的失效率的95%置信区间。
解 记失效元件为“1”，非失效元件为“0”，失效率为，则总体。由题设，，，查表得，求解方程：
(
即

其解为，，故整批产品的失效率的95%置信区间为：（0.0829，0.1202）。
或用来代替，则整批产品的失效率的95%置信区间为：
=（0.0814，0.1186）。
例 假设总体具有概率密度函数：

为来自总体的样本，试基于样本均值给出总体均值的95%大样本区间估计。
解 因为
，，
所以。由中心极限定理知：

在中用的估计量代替，则当样本容量较大时，

为总体均值的近似95%置信区间。
24
第七章 参数估计