极大似然估计原理和方法1.ppt

* 概率论与数理统计 极大似然估计法的原理和方法 一 问题引入 问题Ⅰ： 一只野兔从前方窜过 . 请问是谁打中的？ 一位老猎人与某位学 生一起外出打猎 . 应该如何判断呢 ? 只听两声枪响，野兔应声倒下（被一发子弹打中）. 问题Ⅱ： 有一个箱子,装有形状相同的黑色球和白色球100个， 现从箱中任取一球，结果所取得的球是黑色球。 问:箱中黑球和白球的个数？ 其中一种颜色90个，另一种颜色球10个. 答 极有可能黑色球90个. 我们引入参数估计的又一种方法---极大似然估计法 (Method of Maximum Likelihood Estimation -- MLE ?) 概率最大的事件最可能发生. 一次试验就出现的事件（应该）有较大的概率. 极大似然估计法的依据就是 : 极大似然估计法最早由高斯（C.F.Gauss）提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇（R.A.Fisher）给的。这是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法。  二 极大似然原理 (一)极大似然估计法简史 （C.F.Gauss） （R.A.Fisher） （二）极大似然原理及数学表述 若事件Ai 发生了, 则认为事件Ai 在这n个可能结果 中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值 则选取 若一试验有n个可能结果 现做一试验, 作为θ的估计值。 使得当 时,样本出现的概率最大。 一次试验就出现的事件（应该）有较大的概率 （三）极大似然估计法 (Method of Maximum Likelihood Estimation -- MLE) Ⅰ.若总体 X 为离散型 称为样本的似然函数 若 为相应于 的样本值， Ⅱ. 设总体 X 为连续型 若 为相应于 的样本值， 极大似然法求估计值的步骤：(一般情况下) 说明：若似然方程（组）无解，或似然函数不可导，此法失效，改用其它方法. （连续性）； 4）解似然方程得到 的极大似然估计值 解 例1 这一估计值与矩估计值是相同的. 解得 的极大似然估计值为 解 似然函数为 例2 设总体 为未知参数 ， 是来自X 的一个样本值，求 的极大似然估计值. 极大似然估计值为 这一估计值与矩估计值是相同的. 解 例3 记 这一估计值与矩估计值是不相同的. * 设总体X 服从 上的均匀分布 ，未知 ， 是来自于总体X的样本值，求出的极大似然估计值. 对于满足 的任意有 设服从参数的泊松分布，是来自于的一个样本值，求的极大似然估计值. 似然函数为 即似然函数在时取得极大值， 的极大似然估计值为 ，参数的极大似然估计值. 所以似然函数为 因为 等价于 ，参数的极大似然估计值.