似然估计和无偏性.pptVIP

最大似然估计 . ), , , ( ) , , ( , ) , , ( ), ; ( ) ; ( 1 1 1 的最大似然估计 求 样本观察值 ， ，来自总体的样本为 的参数空间 是未知参数 其中 或分布列为 ，密度函数 数 问题：已知总体分布函 ? ? ? ? ? ? ? n n k x x X X x f x F ? ? ? ? ? 1 的领域中之概率度量 落入 本 、若总体是离散型，样 ) , , ( ) , , ( 1 1 1 n n x x X X ? ? ) ( ) ; ( ) ; ( ) , , , ( 1 2 2 1 1 ? ? ? L x f x f x X x X x X P n n n ? ? ? ? ? ? ? 的领域中之概率度量 落入 本 、若总体是连续型，样 ) , , ( ) , , ( 2 1 1 n n x x X X ? ? ) ( ) ; ( ) ; ( ) , , , ( 1 2 1 ? ? ? L x f x f x x x p n n ? ? ? ? 称 L ( ) 为样本的 似然函数 ? 2 ) ? ( ? L ) ( max ? ? L ? ? ? 称这样得到的 ) ( 2 1 n x , , x , x g ? ? ? ? 为参数 ? 的 最大似然估计值 . 称统计量 ) ( 2 1 n X , , X , X g ? ? ? ? 为参数 ? 的 最大似然估计量 . ? ? 选择适当的 ? = , 使 取最大值 , 即 L ( ) ? 利用最大似然法的思想 Estimator) Likelihood m MLE(Maximu 3 最大值点的求法 即 ) ( ), ( max ) ? ( ? ? ? ? L L L ? ? ? : 常见有一下三种情形 、求导法 1 ) , , ( 1 k ? ? ? ? ? 其中 . ) ( L 偏导数存在 各分量的 的连续函数，且关于 为 似然函数 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0 ) , , , ( 0 ) , , , ( 2 1 2 1 1 k k k L L ? ? ? ? ? ? ? ? ? ? ? —称为似然方程组 — 4 采用下式 的最大值点相同，故可 与 由于 ) ( ) ( ln ? ? L L ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0 ) , , , ( ln 0 ) , , , ( ln 2 1 2 1 1 k k k L L ? ? ? ? ? ? ? ? ? ? ? —称为对数似然方程组 — 称为对数似然函数 ) ( ln ? L . . 大似然估计量 才能确定是否是最 严格的讲，解经过验证 似然估计 最大 然方程组的所有解都是 方程组的解，但未必似 似然 知最大似然估计一定是 注：由最值的必要条件 5 例 1 设总体 X ~ N ( ? , ? 2 ), x 1 , x 2 ,…, x n 是 X 的样本值 , 求 ? , ? 2 的极大似然估计 . 解 ) , ; , , , ( 2 2 1 ? ? n x x x L ? ? ? ? ? ? n i i x n n e 1 2 2 2 ) ( 2 2 2 ) ( ) 2 ( 1 ? ? ? ? ) ln( 2 ) 2 ln( 2 2 ) ( ln 2 1 2 2 ? ? ? ? n n x L n i i ? ? ? ? ? ? ? 2 2 2 ) ( 1 2 1 ? ? ? ? ? ? ? ? ? i x n i e 6 x x n ? n i i ? ? ? ? 1 1 ? ? ? ? ? ? n i i x x n 1 2 2 ) ( 1 ? ? , ? 2 的最大似然估计量分别为 1 1 , n i i X X n ? ? ? 2 1 2 ) ( 1 n n i i S X X n ? ? ? ? 似然 方程 组为 0 ) ( 1 ln 1 2 ? ? ? ? ? ? ? ? ? ? ? ? ? n i i x L ? ? ? 0 ) ( 2 ) ( ) ( 2 1 ln ) ( 2 1 2 2 2 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? n x L n i i 7 . ) ( L . 2 或减函数等等 的增函数 是否是 比如 具体问题具体分析 用， 有间断点，求导法不适 、似然函数关于 ? ? ? 例 2 设 X ~ U ( a,b ), x 1 , x 2 ,…, x n 是 X 的一个 样本值 , 求 a , b 的极大似然估计值与极大 似然估计量 . . ), , , ( 3 1 量的值 得最