极大似然估计.pptx

先先通通过过一一个个简简单单的的例例子子来来说说明明极极大大似似然然估估计的基本思想计的基本思想一只野兔从前方窜过，一只野兔从前方窜过，是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外出打猎某位同学与一位猎人一起外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .下下面面我我们们再再看看两两个个例例子子,进进一一步步体体会会极极大大似似然然法法的基本思想的基本思想 .你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的概率一般大猎人命中的概率一般大于这位同学命中的概率于这位同学命中的概率.看来这一枪是猎人射中的看来这一枪是猎人射中的.这个例子所作的推断已经体现了这个例子所作的推断已经体现了极大似然法极大似然法的基的基本思想本思想 .例例1 一个箱子里装有黑、白球共一个箱子里装有黑、白球共9 9个个,我们从中随机我们从中随机地无放回地抽取三个球，发现恰有地无放回地抽取三个球，发现恰有2 2个黑球，请猜一个黑球，请猜一下下(估计估计)箱子里有几个黑球，几个白球箱子里有几个黑球，几个白球.这是典型的这是典型的“黑箱黑箱”问题问题.可以这样来分析、推断：可以这样来分析、推断：随机所以能取得随机所以能取得“二个黑球一个白球二个黑球一个白球”这是由箱这是由箱中球的状况决定的中球的状况决定的.我们就从这个我们就从这个“信息信息”出发出发.箱中球的状况箱中球的状况 能取得二个黑球一个白球的能取得二个黑球一个白球的(所有可能情形所有可能情形)可能性大小可能性大小 黑球数黑球数 白球数白球数 P P 1.1 8 0 1.1 8 0 2.2 7 2.2 7 3.3 6 3.3 6 4.4 5 4.4 5 5.5 4 5.5 4 6.6 3 6.6 3 7.7 2 7.7 2 8.8 1 8.8 1 9.9 0 0 9.9 0 010.0 9 0 10.0 9 0 比较这些概率的大小比较这些概率的大小 ，我们可以推断箱中黑球数，我们可以推断箱中黑球数最有可能是最有可能是6个个(显然，显然，这个推断不是绝对正确的这个推断不是绝对正确的).).这是一种新的逻辑推理方法：根据概率最大，推断这是一种新的逻辑推理方法：根据概率最大，推断 “事情事情”发生的原因是什么发生的原因是什么.例例2 一批产品，合格品率为一批产品，合格品率为p，从中抽得，从中抽得 子样子样(1,1，0,1，1)，其中，其中1为合格品，为合格品，0为不合格品，试为不合格品，试估计这批产品的合格品率估计这批产品的合格品率p.它是它是p的一个函数的一个函数解解：该母体该母体服从两点分布：服从两点分布：0 1 P 1-p p 因此，因此，出现此子样的可能性的大小出现此子样的可能性的大小，是概率，是概率这时这时,对一切对一切0p1,均有均有 以上这种选择一个参数使得实验结果具有最以上这种选择一个参数使得实验结果具有最大概率的思想就是大概率的思想就是极大似然法的基本思想极大似然法的基本思想 .极大似然估计原理极大似然估计原理：当给定子样观测值当给定子样观测值x1,x2,xn时时,定义定义似然函数似然函数（likelihood function）为：）为：设设1,2,n是取自母体是取自母体的一个子样，的一个子样，为未知为未知参数，参数，子样的联合密度子样的联合密度(连续型）或联合分布列连续型）或联合分布列(离散离散型型)为为 f(x1,x2,xn;)=f(x1,x2,xn;)L()=L(;x1,x2,xn)极大似然估计法就是用使极大似然估计法就是用使L()达到最大值的达到最大值的 去估计去估计，即，即 L()看作参数看作参数的函数，它可作为的函数，它可作为将以多大可将以多大可能产生子样观测值能产生子样观测值x1,x2,xn的一种度量的一种度量.则称则称 为为的极大似然估计（的极大似然估计（MLE）.求极大似然估计求极大似然估计(MLE)的一般步骤的一般步骤:(1)由母体分布写出子样的联合分布列由母体分布写出子样的联合分布列(或联合密度或联合密度););(2)把子样联合分布列把子样联合分布列(或联合密度或联合密度)中的自变量看成已中的自变量看成已知常数知常数,而把参数而把参数看作自变量看作自变量,得到得到似然函数似然函数L();3)求似然函数求似然函数L()的最大值点的最大值点(常常转化为求常常转化为求ln L()的最大值点的最大值点)，即，即的的MLE2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不通，这时有时行不通，这时要用极大似然估计原理来求要用极大似然估计原理来求.说明说明：例例1 设设1,2,n是取自母体是取自母体 b(1,p)的一个子样，的一个子样，求参数求参数p的极大似然估计的极大似然估计.注注最大次序统计量最大次序统计量注注矩估计量矩估计量注注例例3 一罐中装有白球和黑球，有放回地抽取一个容一罐中装有白球和黑球，有放回地抽取一个容量为量为n的子样，其中有的子样，其中有 k 个白球，求罐中黑球与白个白球，求罐中黑球与白球之比球之比 R 的极大似然估计值的极大似然估计值.解解:设设罐中有白球罐中有白球x个，则有黑球个，则有黑球Rx个，从而罐中共个，从而罐中共有有(R+1)x个球个球先求先求p的的MLE：p的的MLE为为在前面例在前面例2中中,我们已求得我们已求得由前述极大似然估计的不变性不难求得由前述极大似然估计的不变性不难求得的的MLE是是作业：作业：p.304-305 6.7、6.8、6.12