概率课件第12讲.ppt

最大似然估计法的基本思想：根据样本观测值，选择参数p的取值， 使得样本在该样本值附近出现的可能性最大 最大似然估计的求法 (1)???定义：设总体X的概率密度（或分布律）为 f(x; ?) ，??? ? Rm，X1, ?,Xn为来自总体 的 样本，则（X1,?,Xn）的密度函数（或分布律）为 若已知样本观测值(x1,?,xn)，则令 称其为样本值(x1,?,xn)的似然函数 注意：a、对于样本（X1,?,Xn）的密度函数（或分布律） 若 大，说明样本（X1,?,Xn）在 在(x1,?,xn)附近取值的概率大； 若 小，说明样本（X1,?,Xn）在 在(x1,?,xn)附近取值的概率小； b. 当已得样本（X1,?,Xn）的观测值(x1,?,xn)，若 则在第一组参数 下，更有可能发生结果(x1,?,xn)。因此， 更象是导致结果(x1,?,xn)发生的一组参数。 下，样本（X1,?,Xn）在 (x1,?,xn)附近取值的概率较大，即在参数 c. 若已知观测值(x1,?,xn)，那么哪一组参数最象是导致结果(x1,?, xn)发生的一组参数呢？ (2) 定义：如果似然函数 在 达到最大值，即 则称 分别为?的最大似然估计。 （3）最大似然估计的求法 即求多元函数 在 内关于 的最大值点。 求极大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布律(或联合密度) ①当总体为连续型随机变量时 ②当总体为离散型随机变量时 (3) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 . (2) 求似然函数L( ? ) 的最大值点(常常转化 为求ln L(? )的最大值点) ，即 ? 的MLE; ①对似然函数两边同时取对数得到 对数似然函数ln L(? ) ②对对数似然函数关于参数求导数，若为 多个参数求分别求偏导数，并令导函数=0 ③解方程得到最大值点 (4) 未知参数的函数的极大似然估计 设总体X的分布类型已知, 其概率密度（或概率函数）为f(x;? ), 未知参数的已知函数为g(? ).若 分别为? 的最大似然估计, 则规定 为 g(? )的最大似然估计. 例7 设x1, x2,…, xn是取自总体 X~B(1, p) 的一个样本，求参数p的极大似然估计. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， =0 得 即为 p 的MLE . 例8 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计. 解: 设X1,X2,…,Xn为所取样本， 则X1,X2,…,Xn是取自B(1, p)的样本，p是每次抽取时取到白球的概率，p未知 . 先求p的MLE： 在前面例7中, 我们已求得p的MLE为 由前述极大似然估计的性质不难求得 的MLE是 解：似然函数为 对数似然函数为 例9 设x1, x2,…,xn是取自总体X的一个样本 求 的极大似然估计. 其中 0, 求导并令其为0 =0 从中解得 即为 的MLE . 对数似然函数为 例10 设总体 X ~ N (?,? 2), x1, x2,…, xn 是 X 的 一组样本值，求 ?, ? 2 的极大似然估计. 解 似然函数为： 两边同时取对数得对数似然方程 ?, ? 2 的极大似然估计量分别为 求偏导数得似然方程组为 解方程： 例11 设X1,X2,…, Xn是取自总体 X~U(a, b) 的一个样本，求参数a, b的矩估计和极大似然估计. 解 X 的密度函数为 似然函数为 似然函数只有当 a xi b, i = 1,2,…, n 时才能 获得最大值, 且 a 越大, b 越小, L 越大. 令 xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn} 取 则对满足 的一切 a ，b , 都有 故 是 a , b 的极大似然估计值. 分别是 a , b 的极大似然估计量. 例12 设总体X的概率分布为 ? 1-2? ? P 2 1 0 X 其中0? ? ?1/2为未知参数。今对X进行观测， 得如下样本值 0，1，2，0，2，1 求? 的最大似然估计。 解： 设X1,X2,X3,X4,X5,X6为对应的样本， 其样本值为0，1，2，0，2，1 则似然函数为： 两边取对数得： 求导数得似然方程为： 解得极大似然估计为 X1, X2,…, Xn为来自该总体的样本。 设