概率论和数理统计教程(茆诗松)市公开课一等奖百校联赛获奖课件.pptx

第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1 1页页第六章 参数预计 6.1 点预计几个方法6.2 点预计评价标准6.3 最小方差无偏预计6.4 贝叶斯预计6.5 区间预计 第1页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2 2页页普通惯用 表示参数，参数 全部可能取值组成集合称为参数空间，惯用表示。参数预计问题就是依据样本对上述各种未知参数作出预计。参数预计形式有两种：点预计与区间预计。第2页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3 3页页设 x1,x2,xn 是来自总体 X 一个样本，我们用一个统计量 取值作为 预计值，称为 点预计（量），简称预计。在这里怎样结构统计量 并没有明确要求，只要它满足一定合理性即可。这就包括到两个问题：其一 是怎样给出预计，即预计方法问题；其二 是怎样对不一样预计进行评价，即估 计好坏判断标准。第3页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4 4页页6.1 点预计几个方法 6.1.1 替换原理和矩法预计 一、矩法预计 替换原理是指用样本矩及其函数去替换对应总体矩及其函数，譬如：用样本均值预计总体均值E(X)，即 ；用样本方差预计总体方差Var(X)，即用样本 p 分位数预计总体 p 分位数，用样本中位数预计总体中位数。第4页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5 5页页例6.1.1 对某型号20辆汽车统计其每加仑汽油行驶里程(km)，观察数据以下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数预计分别为:28.695,0.9185 和 28.6。矩法预计实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。第5页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第6 6页页二、概率函数二、概率函数P P(x x,)已知时未知参数矩法预计已知时未知参数矩法预计 设总体含有已知概率函数 P(x,1,k)，x1,x2,xn 是样本，假定总体k阶原点矩k存在，若 1,k 能够表示成 1,k 函数 j=j(1,k)，则可给出诸 j 矩法预计为 其中第6页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第7 7页页例6.1.2 设总体服从指数分布，因为EX=1/，即=1/EX，故 矩法预计为 另外，因为Var(X)=1/2，其反函数为 所以，从替换原理来看，矩法预计也可取为 s 为样本标准差。这说明矩预计可能是不唯一，这是矩法预计一个缺点，此时通常应该尽可能采取低阶矩给出未知参数预计。第7页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第8 8页页例6.1.3 x1,x2,xn是来自(a,b)上均匀分布U(a,b)样本，a与b均是未知参数，这里k=2，因为 不难推出 由此即可得到a,b矩预计：第8页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第9 9页页6.1.2 极(最)大似然预计 定义6.1.1 设总体概率函数为P(x;)，是参数 可能取值参数空间，x1,x2,xn 是样本，将样本联合概率函数看成 函数，用L(;x1,x2,xn)表示，简记为L()，称为样本似然函数。第9页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1010页页 假如某统计量 满足 则称 是 极(最)大似然预计，简记为MLE（Maximum Likelihood Estimate）。人们通常更习惯于由对数似然函数lnL()出发寻找 极大似然预计。当L()是可微函数时，求导是求极大似然预计最惯用方法，对lnL()求导愈加简单些。第10页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1111页页例6.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观察到三种结果发生次数分别为 n1,n2 ,n3(n1+n2+n3=n)，则似然函数为 其对数似然函数为第11页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1212页页将之关于 求导，并令其为0得到似然方程解之，得因为所以 是极大值点。第12页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1313页页例6.1.7 对正态总体N(,2)，=(,2)是二维参数，设有样本 x1,x2,xn，则似然函数及其对数分别为 第13页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1414页页 将 lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组 (6.1.9)(6.1.10)第14页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1515页页 解此方程组，由(6.1.9)可得 极大似然预计为 将之代入(6.1.10)，得出 2极大似然预计 利用二阶导函数矩阵非正定性能够说明上述预计使得似然函数取极大值。第15页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1616页页 即使求导函数是求极大似然预计最惯用方法，但并不是在全部场所求导都是有效。例6.1.8 设 x1,x2,xn 是来自均匀总体 U(0,)样本，试求 极大似然预计。第16页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1717页页 解 似然函数 要使L()到达最大，首先一点是示性函数取值应该为1，其次是1/n尽可能大。因为1/n是 单调减函数，所以 取值应尽可能小，但示性函数为1决定了 不能小于x(n)，由此给出 极大似然预计：。第17页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1818页页6.2 点预计评价标准 6.2.1 相合性 我们知道，点预计是一个统计量，所以它是一个随机变量，在样本量一定条件下，我们不可能要求它完全等同于参数真实取值。但假如我们有足够观察值，依据格里纹科定理，伴随样本量不停增大，经验分布函数迫近真实分布函数，所以完全能够要求预计量伴随样本量不停增大而迫近参数真值，这就是相合性，严格定义以下。第18页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第1919页页定义6.2.1 设 为未知参数，是 一个预计量，n 是样本容量，若对任何一个0，有 (6.2.1)则称 为 参数相合预计。第19页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2020页页 相合性被认为是对预计一个最基本要求,假如一个预计量,在样本量不停增大时，它都不能把被估参数预计到任意指定精度,那么这个预计是很值得怀疑。通常,不满足相合性要求预计普通不予考虑。证实预计相合性普通可应用大数定律或直接由定义来证.第20页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2121页页 若把依赖于样本量n预计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证实预计相合性可应用依概率收敛性质及各种大数定律。第21页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2222页页在判断预计相合性时下述两个定理是很有用。定理6.2.1 设 是 一个预计量，若 则 是 相合预计，定理6.2.2 若 分别是 1,k 相合估 计，=g(1,k)是 1,k 连续函数，则 是 相合预计。第22页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2323页页6.2.2 无偏性 定义6.2.2 设 是 一个预计，参数空间为，若对任意，有 则称 是 无偏预计，不然称为有偏预计。第23页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2424页页例6.2.4 对任一总体而言，样本均值是总体均值无偏预计。当总体k阶矩存在时，样本k阶原点矩ak是总体k阶原点矩 k无偏预计。但对中心矩则不一样，譬如，因为 ，样本方差s*2不是总体方差 2无偏预计，对此，有以下两点说明：(1)当样本量趋于无穷时，有E(s*2)2，我们称 s*2 为 2渐近无偏预计。(2)若对s*2作以下修正：，则 s2 是总体方差无偏预计。第24页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2525页页6.2.3 有效性 定义6.2.3 设 是 两个无偏预计，假如对任意 ,有 且最少有一个 使得上述不等号严格成立，则称 比 有效。第25页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2626页页例6.2.6 设 x1,x2,xn 是取自某总体样本，记总体均值为，总体方差为 2，则 ,都是 无偏预计，但 显然，只要 n1，比 有效。这表明用全部数据平均预计总体均值要比只使用部分数据更有效。第26页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2727页页6.2.4 均方误差 无偏预计不一定比有偏预计更优。评价一个点预计好坏普通能够用：点预计值 与参数真值 距离平方期望，这就是下式给出均方误差 均方误差是评价点预计最普通标准。我们希望预计均方误差越小越好。第27页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2828页页 注意到 ，所以(1)若 是 无偏预计，则 ，这说明用方差考查无偏预计有效性是合理。(2)当 不是 无偏预计时，就要看其均方 误差 。下面例子说明：在均方误差含义下有些有偏 预计优于无偏预计。第28页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第2929页页例6.2.8 对均匀总体U(0,)，由 极大似然预计得到无偏预计是 ，它均方误差 现我们考虑形如 预计，其均方差为 用求导方法不难求出当 时上述均方误差到达最小，且其均方误差 所以在均方误差标准下，有偏预计 优于无偏预计 。第29页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3030页页6.3.2 最小方差无偏预计 定义6.3.1 对参数预计问题，设 是 一个无 偏预计，假如对另外任意一个 无偏预计，在参数空间上都有 则称 是 一致最小方差无偏预计，简记为 UMVUE。假如UMVUE存在，则它一定是充分 统计量函数。第30页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3131页页6.5 区间预计 6.5.1 区间预计概念 定义6.5.1 设 是总体一个参数，其参数空间为，x1,x2,xn是来自该总体样本，对给定一个(0 1)，若有两个统计量 和 ，若对任意 ，有 （6.5.1）第31页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3232页页 则称随机区间 为 置信水平为1-置信区间，或简称 是 1-置信区间.和 分别称为（双侧）置信下限和置信上限.这里置信水平1-含义是指在大量使用该置信区间时，最少有100(1-)%区间含有。第32页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3333页页例6.5.1 设x1,x2,x10是来自N(,2)样本，则 置信水平为1-置信区间为 其中，,s 分别为样本均值和样本标准差。这个置信区间由来将在6.5.3节中说明，这里用它来说明置信区间含义。若取=0.10，则t0.95(9)=1.8331，上式化为第33页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3434页页 现假定=15,2=4，则我们能够用随机模拟方法由N(15,4)产生一个容量为10样本，以下即是这么一个样本：14.85 13.01 13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由该样本能够算得 从而得到 一个区间预计为 该区间包含 真值-15。现重复这么方法 100次，能够得到100个样本，也就得到100个区 间，我们将这100个区间画在图6.5.1上。第34页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3535页页 由图6.5.1能够看出，这100个区间中有91个包含参数真值15，另外9个不包含参数真值。图6.5.1 置信水平为0.90置信区间 第35页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3636页页 取=0.50，我们也能够给出100个这么区间，见图6.5.2。能够看出，这100个区间中有50个包含参数真值15，另外50个不包含参数真值。图6.5.2 置信水平为0.50置信区间 第36页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3737页页定义6.5.2 沿用定义6.5.1记号，如对给定(0 1)，对任意，有 （6.5.2）称 为 1-同等置信区间。同等置信区间是把给定置信水平1-用足了。常在总体为连续分布场所下能够实现。第37页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3838页页定义 若对给定(0 1)和任意，有 ，则称 为 置信水平为1-（单侧）置信下限。假如等号对一切成立，则称 为 1-同等置信下限。若对给定(0 1)和任意，有 ,则称 为 置信水平为1-（单侧）置信上限。若等号对一切成立，则称 为1-同等置信上限。单侧置信限是置信区间特殊情形。所以，寻求置信区间方法能够用来寻找单侧置信限。第38页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第3939页页6.5.3 单个正态总体参数置信区间 一、一、已知时已知时 置信区间置信区间 在这种情况下，枢轴量可选为 ，c和d应满足P(cGd)=(d)-(c)=1-，经过不等式变形可得 该区间长度为 。当d=-c=u1-/2时，d-c到达最小，由此给出了同等置信区间为 ，。（6.5.8）这是一个以 为中心，半径为 对称区间，常将之表示为 。第39页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4040页页例6.5.3 用天平秤某物体重量9次，得平均值为 （克），已知天平秤量结果为正态分布，其标准差为0.1克。试求该物体重量0.95置信区间。解：此处1-=0.95，=0.05，查表知u0.975=1.96，于是该物体重量 0.95置信区间为 ，从而该物体重量0.95置信区间为 15.3347，15.4653。第40页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4141页页例6.5.4 设总体为正态分布N(,1)，为得到 置信水平为0.95置信区间长度不超出1.2，样本容量应为多大？解：由题设条件知 0.95置信区间为 其区间长度为 ，它仅依赖于样本容量n而与样本详细取值无关。现要求 ，马上有n(2/1.2)2u21-/2.现1-=0.95，故u1-/2=1.96，从而n(5/3)2 1.962=10.6711。即样本容量最少为11时才能使得 置信水平为0.95置信区间长度不超出1.2。第41页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4242页页二、2未知时 置信区间 这时可用t 统计量，因为 ，所以 t 能够用来作为枢轴量。完全类似于上一小节，可得到 1-置信区间为 此处 是 2无偏预计。第42页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4343页页例6.5.5 假设轮胎寿命服从正态分布。为预计某种轮胎平均寿命，现随机地抽12只轮胎试用，测得它们寿命（单位：万公里）以下：4.68 4.85 4.32 4.85 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此处正态总体标准差未知，可使用t分布求均值置信区间。经计算有 =4.7092，s2=0.0615。取=0.05，查表知t0.975(11)=2.，于是平均寿命0.95置信区间为（单位：万公里）第43页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4444页页 在实际问题中，因为轮胎寿命越长越好，所以能够只求平均寿命置信下限，也即结构单边置信下限。因为 由不等式变形可知 1-置信下限为 将t0.95(11)=1.7959代入计算可得平均寿命 0.95置信下限为4.5806（万公里）。第44页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4545页页三、2置信区间 取枢轴量 ，因为 2分布是偏态分布，寻找平均长度最短区间极难实现，普通都用等尾置信区间：采取 2两个分位数 2/2(n-1)和21-/2(n-1)，在 2分布两侧各截面积为/2部分，使得 由此给出 21-置信区间为 第45页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4646页页例6.5.6 某厂生产零件重量服从正态分布N(,2)，现从该厂生产零件中抽取9个，测得其重量为（单位：克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 试求总体标准差 0.95置信区间。解：由数据可算得 s2=0.0325，(n-1)s2=80325=0.26.查表知 2 0.025(8)=2.1797，20.975(8)=17.5345，代入可得 20.95置信区间为 从而 0.95置信区间为:0.1218，0.3454。第46页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4747页页6.5.5 两个正态总体下置信区间 设x1,xm是来自N(1,12)样本，y1,yn是来自N(2,22)样本，且两个样本相互独立。与 分别是它们样本均值，和 分别是它们样本方差。下面讨论两个均值差和两个方差比置信区间。第47页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4848页页一、1-2置信区间1、12和 22已知时两样本u区间 2、12=22=2未知时两样本t区间 第48页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第4949页页3、22/12=已知时两样本t区间 第49页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5050页页4、当m和n都很大时近似置信区间 5、普通情况下近似置信区间 其中 第50页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5151页页例6.5.9 为比较两个小麦品种产量，选择18块条件相同试验田，采取相同耕作方法作试验，结果播种甲品种8块试验田亩产量和播种乙品种10块试验田亩产量（单位：千克/亩）分别为：甲品种 628 583 510 554 612 523 530 615 乙品种 535 433 398 470 567 480 498 560 503 426 假定亩产量均服从正态分布，试求这两个品种平均亩产量差置信区间.(=0.05）。第51页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5252页页解：以x1,x8记甲品种亩产量，y1,y10记乙品种亩产量，由样本数据可计算得到 =569.3750，sx2=2140.5536，m=8 =487.0000，sy2=3256.2222，n=10 下面分两种情况讨论。第52页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5353页页(1)若已知两个品种亩产量标准差相同，则可采取两样本t区间。此处 故1-20.95置信区间为第53页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5454页页(2)若两个品种亩产量方差不等，则可采取近 似 t 区间。此处 s02=2110.5536/8+3256.2222/10=589.4414，s0=24.2784 于是1-20.95近似置信区间为 31.3685，133.3815第54页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5555页页二、12/22置信区间 因为(m-1)sx2/12 2(m-1),(n-1)sy2/22 2(n-1)，且sx2与sy2相互独立，故可仿照F变量结构以下枢 轴量 ,对给定1-，由 经不等式变形即给出 12/22以下置信区间第55页第六章第六章 参数估计参数估计 华东师范大学华东师范大学7/14/20247/14/2024第第5656页页例6.5.10 某车间有两台自动机床加工一类套筒，假设套筒直径服从正态分布。现在从两个班次产品中分别检验了5个和6个套筒，得其直径数据以下（单位：厘米）：甲班：5.06 5.08 5.03 5.00 5.07 乙班：4.98 5.03 4.97 4.99 5.02 4.95 试求两班加工套筒直径方差比 甲2/乙20.95置信区间。解：由数据算得sx2=0.00037,sx2=0.00092，故置信区间0.0544，3.7657 第56页