最小方差无偏估量.pptVIP

§6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑? 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。 例6.3.1 设 x1, x2 , …, xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计? =p2，可令 由于 ，所以 是? 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得 6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题，设 是? 的一个无 偏估计，如果对另外任意一个? 的无偏估计 ， 在参数空间Θ上都有 则称 是? 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。 定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一个样本， 是? 的一个无偏估计， 如果对任意一个满足E(?(x))=0的?(x)，都有 则 是? 的UMVUE。 例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/? )的样本，则T = x1+…+xn 是? 的充分统计量，而 是? 的无偏估计。设? =?(x1 , x2 , …, xn)是0的任一无偏估计，则 两端对? 求导得 这说明 ，从而 由定理6.3.3，它是? 的UMVUE。 6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x,? ), ?∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x,? )0}与? 无关； (3) 导数 对一切?∈Θ都存在； (4) 对P(x,? )，积分与微分运算可交换次序； (5) 期望 存在；则称 为总体分布的费希尔(Fisher) 信息量。 费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I(? )有关。I(? )的种种性质显示，“I(? )越大”可被解释为总体分布中包含未知参数? 的信息越多。 例6.3.3 设总体为泊松分布P(?)分布，则 于是 例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是 定理6.3.4（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , …, xn 是来自该总体的样本，T=T(x1, x2 , …, xn )是g(? )的任 一个无偏估计， 存在，且对一切?∈Θ ，微分可在积分号下进行，则有 上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI(? ))称为g(? )的无偏估计的方差 的C-R下界，简称g(? )的C-R下界。 特别，对? 的无偏估计 ,有 ; 例6.3.5 设总体分布列为p(x,? )= ? x(1-? )1-x, x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1, x2, …, xn 是该总体的样本，则? 的C-R下界为(nI(? ))-1= ? (1-? )/n。因为 是? 的无偏估计，且其方差等于? (1-? )/n，达到C-R 下界，所以 是? 的有效估计，它也是? 的UMVUE。 例6.3.6 设总体为指数分布Exp(1/? )，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分