北京理工大学概率论19讲.ppt

(1)???定义：设总体X的概率密度（或分布律）为 f(x; ?1 ,?,?m) ，??? ? Rm，X1, ?,Xn为来自总体 的 样本，则（X1,?,Xn）的密度函数（或分布律）为 若已知样本观测值(x1,?,xn)，则令 ?1 ,?,?m的函数为 称其为基于样本(x1,?,xn)的似然函数 注意: a. 对于样本（X1,?,Xn）的密度函数（或分布律） 若 大，说明样本（X1,?,Xn） 在(x1,?,xn)附近取值的概率大； 若 小，说明样本（X1,?,Xn）在 (x1,?,xn)附近取值的概率小。 b. 当已得样本（X1,?,Xn）的观测值(x1,?,xn)，若 则在第一组参数 下，样本（X1,?,Xn）在(x1,?,xn)附近取值的概率较大，即在参数 下，更有可能发生结果(x1,?,xn)。因此， 更象是导致结果(x1,?,xn)发生的一组参数。 c. 若已知观测值(x1,?,xn)，那么哪一组参数最象是导致结果(x1,?, xn)发生的一组参数呢？ (2) 定义：如果似然函数 在 达到最大值，即 则称 分别为?1,?,?m的最大似然估计。它们 一般是x1,?,xn的函数，也常记为 （3）最大似然估计的求法 即求多元函数 在 内关于 的最大值点。 (4) 未知参数的函数的极大似然估计 设总体X的分布类型已知, 其概率密度（或概率函数）为f(x;?1,…, ?m), 未知参数的已知函数为g(?1,…, ?m). 若 分别为?1,…, ?m的最大似然估计, 则规定 为 g(?1,…, ?m)的最大似然估计. 求极大似然估计(MLE)的一般步骤是： (1) 由总体 X 的分布导出样本的联合密度 (或联合分布律), 即若X具有概率密度 f(x;?1,…, ?m), 则样本的联合密度为 若X具有分布律，P(X=x)=f(x;?1,…, ?m), 则样本的联合分布律为 固定样本观测值(x1,?,xn)，将上式作为?1 ,?,?m的函数，得到似然函数 (2) 求似然函数L( ? ) 的最大值点(常常转化 为求ln L(? )的最大值点) ，即 ? 的MLE; -----若参数? 的取值空间为开集, ln L(? )可导. 此时一个通常的方法是求ln L(? )的驻点 ，再判断哪个驻点是 ? 的MLE; -----若参数? 的取值空间为开集, ln L(? )可导, 且 ln L(? )的驻点唯一. 则该驻点就是所求的 ? 的MLE; ----- ? 的MLE为 ln L(? )的驻点, 不可导点, 边界点中使 ln L(? ) 达到最大的点; (3) 似然函数 的最大值点，即? 的MLE，是样本(x1,?,xn)的函数, 用具体的样本值代入该函数就得参数的极大似然估计值 . L(p)= f (x1, x2,…,xn; p ) 例6 设X1, X2 , …, Xn是取自总体 X~B(1, p) 的一个样本，求参数p (0p1)的极大似然估计. 解：由于 所以似然函数为 = P (X1=x1)P(X2=x2)…P(Xn=xn ) = P (X1=x1, X2=x2 ,…, Xn=xn ) , (0p1) L(p)= P (X1=x1)P(X2=x2)…P(Xn=xn ) 对数似然函数为： 对p求导并令其为0， 得 即为 p 的MLE . 例7 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计. 解: 设X1,X2,…,Xn为所取样本， 则X1,X2,…,Xn是取自B(1, p)的样本，p是每次抽取时取到白球的概率，p未知 . 先求p的MLE： p的MLE为 在前面例5中, 我们已求得 由前述极大似然估计的性质不难求得 的MLE是 例8 设总体 X 的概率分布为 X 0 1 2 P ? 1-2? ? 其中0???1/2为未知参数。今对 X 进行观测， 得如下样本值 0，1，2，0，2，1 求? 的最大似然估计。 解： 依题意0，1，2，0，2，1是来自总体X的6个样本 X1,X2,…, X6的观测值，因此似然函数为 例8 设总体 X 的概率分布为 X 0