概率论与数理统计课件第七章最大似然估计.ppt

31 例 6 设 X 1 , X 2 ,…, X n 是取自总体 X ~ U ( a , b ) 的一 个样本，求参数 a , b 的最大似然估计 . 解 X 的密度函数为 1 , ( ; , ) 0 , a x b f x a b b a ? ? ? ? ? ? ? ? ? 其 它 似然函数为 , 1 , ( , ) ( ) 1 ,2 , , 0 , i n a x b La b b a i n ? ? ? ? ? ? ? ? ? ? L 其 它 32 1 l n ( , ) l n ( ) n La b b a ? ? l n ( ) n b a ?? ? l n ( ) n b a ? ? ? l n ( , ) 0 L ab n a b a ? ? ? ? ? l n ( , ) 0 L ab n b b a ? ? ? ? ? ? 不能求解。 33 似然函数 a 越大 , b 越小 , L 越大 . , 1 , ( , ) ( ) 1 ,2 , , 0 , i n a x b La b b a i n ? ? ? ? ? ? ? ? ? ? L 其 它 , , , , , ) ( ) 1 ( 1 b x x a b x x a n n ? ? ? ? 等价于 因为 ? ( 1 ) ( ) 1 , , ; ( ) ( , ) 0 , n n a x b x b a Lab ? ? ? ? ? ? ? ? ? 其 它 令 x (1) = min { x 1 , x 2 ,…, x n } x (n) = max { x 1 , x 2 ,…, x n } 34 故 ( 1 ) ( ) ? ? , n a x b x ? ? 是 a , b 的最大似然估计值 . 则对满足 ( 1 ) ( ) n a x x b ? ? ? 的一切 a ， b , 都有 ( ) ( 1 ) 1 1 ( ) ( ) n n n b a x x ? ? ? 取 ( 1 ) ( ) ? ? , n a x b x ? ? 35 例 7 设总体 X 的概率分布为 X 0 1 2 P ? 1-2 ? ? 其中 0 ? ? ? 1/2 为未知参数。今对 X 进行 观测， 得如下样本值 0 ， 1 ， 2 ， 0 ， 2 ， 1 求 ? 的最大似然估计。 36 4 2 ( ) ( 1 2) ( 1 2) ( 1 2) L ? ? ?? ? ? ? ? ? ? ? ? ? ? 从而对数似然函数为 ( ) 4 l n 2 l n ( 1 2 ) l ? ? ? ? ? ? 解： 似然函数为 令 ( ) 4 4 0 1 2 d l ? ? ? ? ? ? ? ? 得 1 ? 3 ? ? 37 三 估计量的评选标准 对于 同一参数 ，用不同的估计方法求 出的估计量可能不相同。 问题： 采用哪一个估计量好 ? X 1 , X 2 ,…, X n 为来自该总体的样本。 设总体 X ~ F ( x , ? ), 其中 ? 为未知参数 。 1 ? ( , , ) n X X ? L 为 ? 的一个估计量。 38 估计量 1 ? ( , , ) n x x ? L 而当样本 ( X 1 , …, X n ) 有观测值 ( y 1 , …, y n ) 时， 估计值为 1 ? ( , , ) n y y ? L ) , , ( ? 1 n X X ? ? 是一个随机变量，当 样本 ( X 1 , …, X n ) 有观测值 ( x 1 , …, x n ) 时，估计 值为 39 由 不同 的 观测结果 ，就会求得 不同 的 参数估 计值 . 因此评价一个估计量的好坏，不能仅 仅依据一次试验的结果来判断，而必须根据 估计量的分布从整体上来做评价。 当样本值取不同的观测值时， 我们希望相 应的估计值在未知参数真值附近摆动， 而它 的均值与未知参数的真值的偏差越小越好 . 当这种偏差为 0 时，就导致无偏性这个标准 . 40 1 ．无偏性 ? () E ? ? ? ? 对 任 意 ， 有 则称 为 的无偏估计 . ? ? ? 1 ? ( , , ) n X X ? L 设 是未知参数 的估计量，若 ? 1 它首先是由德国数学家 高斯 在 1821 年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家 费歇 (Fisher) . 费歇 在 1922 年重新发现了 这一方法，并首先研究了 这种方法的一些性质 . § 7.2 最大似然估计 2 思想方法 一次试验就出现的事件 有较大的概率 7-17 3 最大似然法的基本思想 先看一个简