7.2--极大似然估计—概率论与数理统计-王松桂、程维虎等-科学出版社.pptVIP

第七章第二节 极大似然估计 极大似然法 是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 极大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的基本思想 . 极大似然估计原理： 当给定样本X1,X2,…Xn时，定义似然函数为： 设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,…Xn; ) . f (X1,X2,…Xn; ) 似然函数： 极大似然估计法就是用使 达到最 大值的 去估计 . 称 为 的极大似然估计（MLE）. 看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,…Xn的一种度量 . f (X1,X2,…Xn; ) (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 . 求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合概率函数 (或联合密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; 两点说明： 1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”： 可以得到 的MLE . 若 是向量，上述方程必须用似然方程 组代替 . 2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 . 两点说明： 下面举例说明如何求极大似然估计 L(p)= f (X1,X2,…Xn; p ) 例1 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个样本，求参数p的极大似然估计. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， =0 得 即为 p 的MLE . 正态总体 N(?,?2)两个未知参数?和?2的极大似然估计.(注:我们把?2看作一个参数) 解: 例2 似然方程组为 根据第一式,就得到: 代入第二式,就得到: 由上,似然方程组的解唯一.下面验证它是极大值点. 是L(?,?2)的最大值点. ∴ ?和?2的极大似然估计量是 总体 泊松分布 X ～ P(?). 求:参数?的极大似然估计. 解: 例3 似然方程为 是logL(?)的最大值点. ∴ ?的极大似然估计量是 总体均匀分布 X ～ U(a,b). 求:两个参数a,b的极大似然估计 解: 例 4 * * * *