6_2极大似然分析.pptVIP

极(最)大似然估计 ; 极大似然法是在总体类型已知条件下使用的一种参数估计方法 .; 先看一个简单例子：; 下面我们再看一个例子,进一步体会极大似然法的基本思想 .; 例1 设X~B(1,p), p未知.设想我们事先知道p只有两种可能:; 将计算结果列表如下：;如果有p1,p2,…,pm可供选择, 又如何选p呢?; 如果只知道0p1,并且实测记录是 Y=k (0 ≤ k≤ n),又应如何估计p呢?;将ln f (p)对p求导并令其为0,; 以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 .; 极大似然估计原理：;似然函数：;定义6.1.1 设总体的概率函数为P(x;? )，?是参数? 可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成? 的函数，用L(? ; x1, x2, …, xn) 表示，简记为L(? )， 称为样本的似然函数。; 如果某统计量 满足 则称 是? 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。 ;求极大似然估计(MLE)的一般步骤是：; (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .;两点说明：;2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .; 下面举例说明如何求极大似然估计;对数似然函数为：;例3 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为;将之关于? 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。 ;例4 对正态总体N(?,? 2)，θ=(?,? 2)是二维参数，设有样本 x1, x2 , …, xn，则似然函数及其对数分别为 ; 将 lnL(?,? 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10); 解此方程组，由(6.1.9)可得? 的极大似然估计为 将之代入(6.1.10)，得出? 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。 ; 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。; 解 似然函数 要使L(? )达到最大，首先一点是示性函数取值应该为1，其次是1/? n尽可能大。由于1/? n是?的单调减函数，所以? 的取值应尽可能小，但示性函数为1决定了? 不能小于x(n)，由此给出?的极大似然估计： 。 ;例6 设X1,X2,…Xn是取自总体X的一个样本;解：似然函数为;求导并令其为0;解：似然函数为;对数似然函数为;=0 (2);是;极大似然估计的一个性质; 例8 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计.;p的MLE为; 例9 设 x1 , x2 , …, xn是来自正态总体N(? ,? 2) 的样本，则?和? 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是: ;概率 的MLE是 ；