极大似然估计法的探究.docVIP

极大似然估计法的探究 邵 雨 晴 （伊犁师范学院数学与统计学院 新疆 伊宁 835000） 摘要：极大似然估计是参数估计的一种常用方法，本文主要探讨了极大似然估计法的原理及其四种方法、步骤和性质，并举例说明了这些方法在解决实际问题中的应用. 关键词：极大似然估计；参数估计；似然函数 中图分类号：O212 文献标识码：A 引言 由于极大似然估计法的渐近最优性，它已成为参数估计的一种常用方法，在众多领域得到广泛的应用，例如语音处理、图像处理模型识别等.它是建立在极大似然原理基础上的一个统计方法，并且所得到的极大似然估计具有良好的性质：相合性、存在性、不变性等.用微分法求参数的极大似然估计并不是唯一的方法，以下又以例题的方式给出另外三种求极大似然估计的方法. 预备知识 2.1理论基础 2.1.1极大似然估计的背景 极大似然估计最早是由高斯(C.F.Gauss)提出的，后来为费希尔(R.A.Fisher)在1912年的文章[7]中重新提出，并且证明了这个方法的一些性质.极大似然估计这一名称也是费希尔给的.极大似然估计原理的直观想法是：一个随机试验如若有若干个可能的结果，出现，则一般认为试验条件对出现有利，也即出现的概率很大. 先看一个简单的例子，某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想． 2.1.2极大似然估计法的基本原理 随机试验有个可能结果，现在进行一次试验，结果发生了，在一次试验中，概率越大越有可能发生，人们自然认为事件在这个可能结果中出现的概率最大. 将这种想法用于参数估计，设为取自具有概率函数的母体的一个子样. 子样的联合概率密度函数在取已知观测值时的值是的函数. 我们用表示，称为这个子样的似然函数. 于是 （1） 下面分别就离散型母体和连续型母体情形做具体讨论. 离散型母体的情形： 如果是离散型母体，给出观测到的概率. 因此，可以把看成为观测到时出现什么样的的可能性的一个测度. 所以我们只要寻找观测值的函数，以代使 （2） 成立. 满足（2）式的就是最可能产生的参数的值. 我们称为参数的极大似然估计值，其相应的统计量为参数的极大似然估计量. 连续型总体的情形： 如果是连续型，表示密度函数. 于是子样落入点的邻域内的概率为，同样是的函数，既然再一次抽样中出现，当然可以认为子样落在的邻域内的概率达到最大. 所以我们只要找出使达到最大的的值. 由于是不依赖于的增量，我们也只需求出使得 达到极大的，便可得到极大似然估计. 综上所述知，连续型母体的参数的极大似然估计同样可以用（1）与（2）两式表示. 由于是的单调增函数，使 （3） 成立的也使（2）成立. 所以有时我们只要从（3）中去求就可以了. 定义：若对任意给定的样本值，存在，使，则称为的最大似然估计值. 称相应的统计量为的最大似然估计量. 他们统称为的最大似然估计. 2.1.2多元正态分布极大似然估计 考虑元正态总体, 设为元正态总体的简单随机样本，此时观测数据阵为： 是一个随机阵. 以下用最大似然估计法求参数的最大似然估计. 把随机数据阵按行拉直后形成的维长向量的联合密度函数看成未知参数的函数，并称为样本的似然函数，记为： 其中是的函数，且，即非负定. 对数似然函数为： 极大似然估计的性质 3.1 极大似然估计的无偏性 定义：设是总体的样本，是总体参数的估计量，存在，且对于任意都有，则称是的无偏估计. 3.2 极大似然估计的相合性 定义：基于样本量为的样本的参数函数的估计量，若满足则称估计量是的相合估计. 在一些正则的条件下，极大似然估计是相合的. 3.3 极大似然估计的存在性 求极大似然估计就是求似然函数的极值点，通常是通过求其驻点即解似然方程的方法得到，而驻点未必是函数的极大值点，所以似然方程的解未必是极大似然估计，也即极大似然估计不一定存在.因此通过解似然方程的方法求极大似然估计时，需要验证似然方程的解是否是似然函数的极大值点，如果是极值点，那么极大似然估计存在，如果不是，那么极大似然估计不一定存在.一般地，我们有： （1）若，且关于可微，在的内点达到最大，则极大似然估计必为似然方程的解. （2）对于一维是参数的情形，似然方程的解若满足条件： 则必是极大似然估计. 例1 设为取自泊松分布总体的简单随机样本，求参数的极大似然估计. 解：因为似然