最大似然估计法说的挺清楚.pptx

最大似然估计法最大似然估计法 最最大大似似然然估估计计法法是是在在总总体体的的分分布布类类型型已已知知的的条条件件下下所所使用的一种参数估计方法使用的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年年提出的提出的.GaussFisher 然而，这个方法常归功于英国统计学家然而，这个方法常归功于英国统计学家费歇费歇.费歇费歇在在1922年重新发现了这一方法，年重新发现了这一方法，并首先研究了这种方法的一些性质并首先研究了这种方法的一些性质.极大似然估计法是基于极大似然估计法是基于极大似然原极大似然原理理提出的。提出的。为了说明为了说明极大似然原理极大似然原理,我们先看我们先看个例子个例子。例子：例子：一只野兔从前方窜过，一只野兔从前方窜过，是谁击中的野兔是谁击中的野兔,某同学与一位猎人一起某同学与一位猎人一起外出打猎。忽然，外出打猎。忽然，若让你推测一下，若让你推测一下，你会怎样想你会怎样想?只听一声枪响，野兔只听一声枪响，野兔应声倒下应声倒下.为为了了进进一一步步体体会会最最大大似似然然估估计计法法的的思思想想,我们再看一个例子我们再看一个例子.你会想：只一枪便击中你会想：只一枪便击中,一般情况下猎人击中一般情况下猎人击中的概率比同学击中的概率大。的概率比同学击中的概率大。故这一枪极大可故这一枪极大可能是猎人打的。能是猎人打的。你的这一想法中就已经包含了最大似然原你的这一想法中就已经包含了最大似然原理的基本思想理的基本思想.例如：例如：有一事件有一事件A，我们，我们知道知道它发生的概率它发生的概率p只可能只可能是是:试让你推想一下试让你推想一下p应取何值应取何值?p=0.1，0.3 或或 0.6 若在一次观测中，事件若在一次观测中，事件A竟然发生了，竟然发生了，你自然会认为事件你自然会认为事件A发生的概率是发生的概率是0.6，而，而非其他数值。非其他数值。最大似然原理：最大似然原理：概率大的事件在一次观测中更容易发生。概率大的事件在一次观测中更容易发生。在一次观测中发生了的事件其概率应该大在一次观测中发生了的事件其概率应该大小结：小结：最大似然估计法的一般步骤：最大似然估计法的一般步骤：（）取对数（）取对数（）求导数，得驻点，最大值点（）求导数，得驻点，最大值点（）作结论（）作结论（1）写似然函数）写似然函数L例：设总体例：设总体X服从参数为服从参数为的指数分布，的指数分布，（x1,x2,xn）为样本观察值，求）为样本观察值，求的最大似的最大似然估计值。然估计值。解：总体解：总体X的概率密度函数为：的概率密度函数为：似然函数为：似然函数为：取对数取对数得，得，所以所以的的最大似然估计值为最大似然估计值为:练习练习1:设总体设总体X的分布律为：的分布律为：0p0,求导并令其为求导并令其为0=0从中解得从中解得 即为即为的最大似然估计值。的最大似然估计值。即为即为的最大似然估计量。的最大似然估计量。例例 设总体设总体 X N(),未知未知.是来自是来自 X 的样本值的样本值,试求试求 的最大似然估计量的最大似然估计量.似然函数为似然函数为 解解X 的概率密度为的概率密度为 于是于是令令解得解得的最大似然估计量为的最大似然估计量为 由上可见：同一个未知参数，会有由上可见：同一个未知参数，会有不同的估计量，那末如何评价它们的不同的估计量，那末如何评价它们的好坏呢？这就涉及到估计量的评选标好坏呢？这就涉及到估计量的评选标准问题。准问题。1、无偏性、无偏性 无偏性要求估计量的取值要以参数真值为中心无偏性要求估计量的取值要以参数真值为中心左右摆动。它等同于估计量的数学期望等于待估左右摆动。它等同于估计量的数学期望等于待估参数的真值。参数的真值。一个好的估计量应满足一个好的估计量应满足无偏性、有效性和一致无偏性、有效性和一致性性的要求。的要求。衡量点估计量好坏的标准衡量点估计量好坏的标准证明证明:讨论：对总体讨论：对总体X XN(,N(,2)来说，样本来说，样本(X(X1 1,X,X2 2,X,Xn n)中的中的X X1 1与与 都是都是 的无偏估计量的无偏估计量吗？吗？是是的两个无偏估计量，若的两个无偏估计量，若2、有效性、有效性当当 时时 依概率收敛于依概率收敛于 ,则称则称 为为 的的一致估计量一致估计量.设设是参数是参数 的估计量，的估计量，为为 的的一致估计量一致估计量对于任意对于任意 ,有有三、一致性三、一致性四、小结四、小结 对于一个未知参数可以提出不同的估计量对于一个未知参数可以提出不同的估计量,因此自然提出比较估计量的好坏的问题因此自然提出比较估计量的好坏的问题，这就需，这就需要给出评定估计量好坏的标准要给出评定估计量好坏的标准.在本节中在本节中,介绍了评定估计量好坏的三个标介绍了评定估计量好坏的三个标准准:无偏性、有效性、和相合性无偏性、有效性、和相合性.