63最小方差无偏估计.docVIP

6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 我们在例6.2.6和例6.2.7中分别比较了两个无偏估计的优劣,在这两个例子中,好的一个无偏估计都是充分统计量的函数,这不是偶然的,下面我们介绍这方面的有关结论.先从Rao-Blackwell定理谈起. 定理6.3.1 （Rao-Blackwell定理）设和是两个随机变量,.我们用条件期望构造一个新的随机变量,其定义为 则有 其中等号成立的充分必要条件是和几乎处处相等. 证明：我们以和都是连续型随机变量为例加以证明,设,,分别为和的联合密度函数,的边际密度函数和给定下的条件密度函数,于是条件期望 这证明了第一个结论,下证第二个结论,我们将写成如下形式： （6.3.1） 由于故(6.3.1)右端第三项为 而(6.3.1)右端第二项正是的方差,由此即有 (6.3.2) 由于上式右端第一项非负,这就证明了第二个结论.进一步,等号成立(即）的充要条件为 （6.3.3） 即与几乎处处相等. 将定理6.3.1应用到参数估计问题中可得到如下重要结论： 定理6.3.2 设总体概率密度函数是,是其样本,是的充分统计量,则对的任一无偏估计,令,则也是的无偏估计,且 （6.3.4） 证明：由于是充分统计量,故而与无关,因此它也是一个估计（统计量）,只要在定理6.3.1中取,即可完成本定理的证明. 定理6.3.2说明,如果无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差.换言之,考虑的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则. 例6.3.1 设是来自的样本,则（或）是的充分统计量.为估计,可令 由于 , 所以是的无偏估计.这个估计并不好,它只使用了两个观测值,下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望,过程如下. 其中.可以验证,是的无偏估计,且. 6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题,设是第一个无偏估计,如果对另外任意一个的无偏估计,在参数空间上都有 （6.3.5） 则称是的一致最小方差无偏估计,简记为UMVUE. 关于UMVUE,有如下一个判断准则. 定理6.3.3 设是来自某总体的一个样本,是的一个无偏估计,.如果对任意一个满足的,都有 （6.3.6） 则是的UMVUE. 证明 对的任意一个无偏估计,令,则 于是 定理得证. 例6.3.2 设是来自指数分布的样本,则根据因子分解定理可知,是的充分统计量,由于,所以是的无偏估计.设是0的任一无偏估计,则 即 两端对求导,得 这说明,从而 由定理6.3.3,是的UMVUE. 6.3.3 Cramer-Rao不等式 我们在定理6.3.5中将指出,最大似然估计的渐进方差主要由费希尔信息量决定,本节先介绍,然后讲述Cramer-Rao不等式,有时它可用来判断UMVUE. 定义6.3.2 设总体的概率函数满足下列条件： 参数空间是直线上的一个开区间； 支撑与无关； 导数对一切都存在； 对,积分和微分运算可交换次序,即 期望存在,则称 (6.3.7) 为总体分布的费希尔（Fisher）信息量. 费希尔信息量是数理统计学中的一个基本概念,很多的统计结果都与费希尔信息量有关.如最大似然估计的渐进方差,无偏估计的方差的下界等都与费希尔信息量有关.的种种性质显示,“ 越大”可被解释为总体分布中包含未知参数的信息就越多. 例 6.3.3 设总体为泊松分布分布,其分布列为 可以看出定义6.3.2的条件满足,且 , 于是 例 6.3.4 设总体为指数分布,其密度函数为 可以验证定义6.3.2的条件满足,且 于是 定理 6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足,是来自该总体的样本,是的任一个无偏估计,存在,且对中一切,对 的微分可在积分号下进行,即 （6.3.8） 对离散总体,则将上述积分改为求和符号后,等式仍然成立.则有 （6.3.9） （6.3.9）称为克拉美-罗(C-R)不等式,称为的无偏估计的方差的C-R下界,简称的C-R下界.特别,对的无偏估计,有. 证明 以连续总体为例加以证明.由两边对求导,由于积分与微分可交换次序,于是有 记,则,从而 （6.3.10） 又由6.3.8,据施瓦茨不等式,有 由