概率与数理统计--极大似然估计详细讲解及例题.pptVIP

极大似然估计 二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍第二两种方法 . 2. 极大似然法 是在总体类型已知条件下使用的一种参数估计方法 . 极大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 下面我们再看一个例子,进一步体会极大似然法的基本思想 . 你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的基本思想 . 例4 设X~B(1,p), p未知.设想我们事先知道p只有两种可能: 问:应如何估计p? p=0.7 或 p=0.3 如今重复试验3次,得结果: 0 , 0, 0 由概率论的知识, 3次试验中出现“1”的次数 k=0,1,2,3 将计算结果列表如下： 应如何估计p? p=0.7 或 p=0.3 k=0,1,2,3 p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027 出现 估计 出现 出现 出现 估计 估计 估计 0.343 0.441 0.441 0.343 如果有p1,p2,…,pm可供选择, 又如何合理地选p呢? 从中选取使Qi 最大的pi 作为p的估计. i=1,2,…,m 则估计参数p为 时Qi 最大, 比方说,当 若重复进行试验n次,结果“1”出现k次 (0 ≤ k≤ n), 我们计算一切可能的 P(Y=k; pi )=Qi ， i=1,2,…,m 如果只知道0p1,并且实测记录是 Y=k (0 ≤ k≤ n),又应如何估计p呢? 注意到 是p的函数,可用求导的方法找到使f (p)达到 极大值的p . 但因f (p)与lnf (p)达到极大值的自变量相同,故问题可转化为求lnf (p)的极大值点 . =f (p) 将ln f (p)对p求导并令其为0, 这时, 对一切0p1,均有 从中解得 =0 便得 p(n-k)=k(1-p) 以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 . 这时,对一切0p1,均有 则估计参数p为 极大似然估计原理： 当给定样本X1,X2,…Xn时，定义似然函数为： 设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,…Xn; ) . f (X1,X2,…Xn; ) 似然函数： 极大似然估计法就是用使 达到最 大值的 去估计 . 称 为 的极大似然估计（MLE）. 看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,…Xn的一种度量 . f (X1,X2,…Xn; ) (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 . 求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合概率函数 (或联合密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; 两点说明： 1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”： 可以得到 的MLE . 若 是向量，上述方程必须用似然方程 组代替 . 2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 . 下面举例说明如何求极大似然估计 L(p)= f (X1,X2,…Xn; p