最小方差无偏估计UMVUE幻灯片.pptVIP

第六章 第三节 最小方差无偏估计 一、 Rao-Blackwell 定理 二、最小方差无偏估计 三、 Cramer-Rao 不等式 1 优良的无偏估计都是充分统计量的函数 . 将之应用在参数估计中可得 : ( ) , ( ( )) ( ) E Y Var Y Var X ? ? ? ? ? 其中等号成立的充要条件为 X 与 ( Y ) 几乎处处相等 . 定理 1: 设 X 和 Y 是两个 r.v.,EX= μ ,VarX0 , 令 ( ) ( | ) y E X Y y ? ? ? 则有 1 ( , , ) n T T x x ? 1 ? ? ( , , ), | ), n x x E T ? ? ? ? ? ? 令 ( 则 是样本 , 是 θ 的充分统计量 , 1 , , n x x 定理 2: 设总体的概率函数为 p ( x ; θ ), % % ? Var Var ? ? ? ? ? 也是 的无偏估计,且 对 θ 的任一无偏估计 一、 Rao-Blackwell 定理 ? 2 注 : 定理 2 表明 : 若无偏估计不是充分统计量的函数 , 则将之对充分统 计量求条件期望可得一个新的无偏估计 , 且它为充分统计量的函数且 方差会减小 . 即 , 考虑点估计只需在充分统计量的函数 中进行 , 这就是 — 充分性原则 . 1 1 ? ( | ), n i i t E T t t x ? ? ? ? ? ? ( )= 其中 令 θ =p 2 , 则 1 2 1 1, 1 1 , ? 0, x x else ? ? ? ? ? ? ? 为 θ 的无偏估计 . 因为 是充分统计量 , 由定理 2, 从而可令 1 n i i T x ? ? ? 可得 ( 1) ( ) ( 1) t t t n n ? ? ? = 故 为 θ 的无偏估计 . 且 1 ( ) ( ) Var Var ? ? ? 例 1. 设 1 ( , , ) n x x 为来自 b (1, p ) 的样本 , 求 p 2 的 U.E ( ) x T nx ? 或 为 p 的充分统计量 解： 前已求过 : 进一步改进： 1 ( | ) ( ), E T T ? ? ? ? = ( 1) ( 1) T T n n ? ? ? = 3 二、最小方差无偏估计 定义 : ° % ? , , ? ( ) ( ) , ? , . Var Var UMVUE ? ? ? ? ? ? ? ? ? ? ? ?? 设 是 的一个无偏估计量 若对于 的任一方差 存在的无偏估计量 都有 则称 是 的一致最小方差无偏估计 记为 注： 一致最小方差无偏估计是一种最优估计 . 由定理 2, 只要它存在 . 它一定是充分统计量的函数 . 一般地 , 若依赖 于充分统计量的无偏估计只有一个 , 它一定是 UMVUE. Problem ： 无偏估计的方差是否可以任意小 ? 如果不能任意小 , 那么它的下界是什么 ? 4 ( , ) 0, Cov ? ? ? ? ? ? ?? 1 ? ( , , ) n x x ? ? ? 是总体 X 的样本 , 1 , , n x x 定理 3: (UMVUE 准则 ) 设 如果对任一个满足 $ ? ? ?? Var 是 θ 的任一无偏估计 , 1 1 ( , , ) 0 ( , , ), n n E x x x x ? ? ? 的 都有 ? . UMVUE ? ? 则 是 的 例 2: 设 1 , , n x x 为来自 Exp (1/ θ ) 的样本 , 则 1 n i i T x ? ? ? 为 θ 的充分统计量 , 证明 : 为 θ 的 UMVUE. T x n ? 反之亦成立 . 5 2 ln ( ; ) (4) ( ) x p E ? ? ? ? 存在 1 、 Fisher 信息量的定义 . (2) { | ( ; ) 0} ; S x p x ? ? ? ? 支撑 与 无关 ( ; ) (3) ( ; ) ( ; ) p x p x p x dx dx ? ? ? ? ? ? ? ?? ?? ?? ?? ? ? ? ? ? ? ? ? ? ? 存在且对 中一切 有 三、罗 - 克拉美（ Cramer – Rao ）不等式 (1) ? 是实数轴上的一个开区间 ; 设总体 X 的概率函数为 p ( x ; ? ), ? ?? , 且满足条件 : 2 ln ( ; ) ( ) ( ) def p x I E ? ? ? ? ? ? Fi 则称 sh 为总体 er 分布的 信息量 . 正 则 条 件 6 (1) I ( θ