《概率论与数理统计》第29讲.ppt

极大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 下面我们再看一个例子,进一步体会极大似然法的基本思想 . 你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的基本思想 . 例4 设X~B(1,p), p未知.设想我们事先知道p只有两种可能: 问:应如何估计p? p=0.7 或 p=0.3 如今重复试验3次,得结果: 0 , 0, 0 由概率论的知识, 3次试验中出现“1”的次数 k=0,1,2,3 将计算结果列表如下： 应如何估计p? p=0.7 或 p=0.3 k=0,1,2,3 p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027 出现 估计 出现 出现 出现 估计 估计 估计 0.343 0.441 0.441 0.343 如果有p1,p2,…,pm可供选择, 又如何合理地选p呢? 从中选取使Qi 最大的pi 作为p的估计. i=1,2,…,m 则估计参数p为 时Qi 最大, 比方说,当 若重复进行试验n次,结果“1”出现k次 (0 ≤ k≤ n), 我们计算一切可能的 P(Y=k; pi )=Qi ， i=1,2,…,m 如果只知道0p1,并且实测记录是 Y=k (0 ≤ k≤ n),又应如何估计p呢? 注意到 是p的函数,可用求导的方法找到使f (p)达到 极大值的p . 但因f (p)与lnf (p)达到极大值的自变量相同,故问题可转化为求lnf (p)的极大值点 . =f (p) 将ln f (p)对p求导并令其为0, 这时, 对一切0p1,均有 从中解得 =0 便得 p(n-k)=k(1-p) 以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 . 这时,对一切0p1,均有 则估计参数p为 极大似然估计原理： 当给定样本X1,X2,…Xn时，定义似然函数为： 设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,…Xn; ) . f (X1,X2,…Xn; ) 似然函数： 极大似然估计法就是用使 达到最 大值的 去估计 . 称 为 的极大似然估计（MLE）. 看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,…Xn的一种度量 . f (X1,X2,…Xn; ) (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 . 求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合概率函数 (或联合密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; 两点说明： 1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”： 可以得到 的MLE . 若 是向量，上述方程必须用似然方程 组代替 . 引言 上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理. 它们是进一步学习统计推断的基础.  总体 样本 统计量 描述 作出推断 研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质. 随机抽样  现在我们来介绍一类重要的统计推断问题 参数估计问题是利