席第13讲参数估计.ppt

最大似然估计法的基本思想：根据样本观测值，选择参数p的取值 ，使得样本在该样本值附近出现的可能性最大 最大似然估计的求法 最大似然估计也称为极大似然估计 (1)???定义：设总体X的概率密度（或分布律）为 f(x; ?1 ,?,?m) ，??? ? Rm，X1, ?,Xn为来自总体 的 样本，则（X1,?,Xn）的密度函数（或分布律）为 若已知样本观测值(x1,?,xn)，则令 称其为样本值(x1,?,xn)的似然函数 注意：a、对于样本（X1,?,Xn）的密度函数（或分布律） 若 大，说明样本（X1,?,Xn） 在(x1,?,xn)附近取值的概率大； 若 小，说明样本（X1,?,Xn）在 (x1,?,xn)附近取值的概率小。 b. 当已得样本（X1,?,Xn）的观测值(x1,?,xn)，若 则在第一组参数 下，样本（X1,?,Xn）在(x1,?,xn)附近取值的概率较大，即在参数 下，更有可能发生结果(x1,?,xn)。因此， 更象是导致结果(x1,?,xn)发生的一组参数。 c. 若已知观测值(x1,?,xn)，那么哪一组参数更象是导致结果(x1,?, xn)发生的一组参数呢？ (2) 定义：如果似然函数 在 达到最大值，即 则称 分别为?1,?,?m的最大似然 估计。 （3）最大似然估计的求法 即求多元函数 在 内关于 求最大值点。 (4) 未知参数的函数的最大似然估计 设总体X的分布类型已知, 其概率密度（或概率函数）为f(x;?1,…, ?m), 未知参数的已知函数为g(?1,…, ?m). 若 分别为?1,…, ?m的最大似然估计, 则规定 为 g(?1,…, ?m)的最大似然估计. (3) 在最大值点的表达式中, 用样本值代入 就得参数的最大似然估计值 . 求最大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布律 (或联合密度); (2) 求似然函数L( ? ) 的最大值点(常常转化 为求ln L(? )的最大值点) ，即 ? 的最大似然估计(MLE); MLE是maximum likelihood estimate缩写 L(p)= f (x1,x2,…xn; p ) 例6 设X1,X2,…, Xn是取自总体 X~b(1, p) 的一个样本，求参数p的最大似然估计. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， =0 得 为 p 的最大似然估计. 例7 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的最大似然估计. 解: 设X1,X2,…,Xn为所取样本， 则X1,X2,…,Xn是取自b(1, p)的样本，p是每次抽取时取到白球的概率，p未知 . 先求p的最大似然估计： p的最大似然估计为 在前面例6中, 我们已求得 由前述最大似然估计的性质不难求得 的最大似然估计为： 解：似然函数为 对数似然函数为 例8 设X1,X2,…Xn是取自总体X的一个样本 求 的最大似然估计. 其中 0, 求导并令其为0 =0 从中解得 即为 的MLE . 对数似然函数为 例9 设X1,X2,…, Xn是取自总体 X~N( ?, ? 2)的一个样本，求参数?, ? 2最大似然估计. 解答 见书p183例5 例10 设X1,X2,…, Xn是取自总体 X~U(a, b) 的一个样本，求参数a, b的最大似然估计. 解答 见书p183例6 例11 设总体X的概率分布为 ? 1-2? ? P 2 1 0 X 其中0? ? ?1/2为未知参数。今对X进行观测， 得如下样本值 0，1，2，0，2，1 求? 的最大似然估计。 （自己做, 提示如下） (§7-2 不讲) 从而 由此再求最大似然估计 X1, X2,…, Xn 为来自该总体的样本。 设总体X~ F(x, ? ), 其中 ? 为未知参数。 为 ? 的一个估计量。 §7-3 估计量的评选标准 估计量 而当样本(X1, …, Xn)有观测值(y1, …,