对数似然函数为.PPT

充分性原则 若要需求基于充分统计量的估计量，则可直接基于充分统计量对应的似然函数求。 若样本分布族存在充分统计量，则参数的极大似然估计存在时必为充分统计量的函数。 极大似然估计的例子 2.1.18 两点分布总体 2.1.19 Poisson分布总体 2.1.20 正态分布总体 2.1.21 均匀分布总体 2.1.22 均值为零的二元正态总体 2.1.23 指数寿命分布的定数截尾寿命估计 2.1.24 多项分布 2.1.25 Hardy-Weinberg模型 矩估计法和极大似然估计法的比较 矩估计法对总体分布要求较少 极大似然法要求知道总体分布（分布列或密度） 两种方法的结果有时是一样的，有时有差别，极大似然估计相对来说有更多的优良性。 * * 2. 最大似然法 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 最大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 思想方法：一次试验就出现的 事件有较大的概率 猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 一枪打中 猎人 同学 哪个概率大？ 其统计问题为 令X为打一枪的中弹结果，则X~b(1,p), p打中概率未知.设我们事先知道p只有两种可能: p=0.9 或 p=0.1 要估计总体X的参数p的值 当兔子中弹，即{X =1}发生了。 当兔子不中弹，即{X =0}发生了。 现有样本观测值x =1, 什么样的参数p使该样本值出现的可能性最大呢？ 若p=0.9，则P{X=1}=0.9; 若p=0.1，则P{X=1}=0.1 若p=0.9，则P{X=0}=0.1; 若p=0.1，则P{X=0}=0.9 最大似然估计法的基本思想： 一般地，对于给定的样本值 的可能性最大 选择参数? 的估计，使得样本值 出现 上述简单情形的思想解释完全适用于离散随机变量情形，我们也可以推广到有通常密度函数的情形。 ?定义1： 设样本X= (X1, ?,Xn)的概率分布族（或密度函数族 ）为 {p ?,: ? =(?1 ,?,?k )?? ? Rk }，对给定的样本观测值x， 看作 ?的函数，称为样本值x的似然函数。 简记为 最大似然估计的定义 注意 1. 似然函数 表示在参数 下 出现的可能性大小;它是 的函数， 2.对数 称为对数似然函数(log-likelihood function)。 定义2 如果似然函数 在 达到最大值，即 则称 为? 的最大似然估计。 (3) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 . 求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布列 (或联合密度); (2) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; 可求得未知参数的极大似然估计 解似然方程组 ?是开集 , L 关于? 可微, 且在内点达到最大 若 （1）似然方程没有显式解时，要用数值解法。 （2）L 不是? 的可微函数, 需用其它方法求极 大似然估计. 注： L(p)= f (x1,x2,…xn; p ) 例1 设X1,X2,…, Xn是取自总体 X~b(1, p) 的一个样本，求参数p的极大似然估 计. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， 得 解：似然函数为 例2 设X1,X2,…Xn是取自总体X的一个样本 求 的极大似然估计. 其中 0, 对数似然函数为 求导并令其为0 从中解得 例3 一罐中装有白球和黑球，有放回地抽 取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计. 先求p的MLE： 解: 设X1,X2,…,Xn为所取样本， 则X1,X2,…,Xn是取自B(1, p)的样本，