CR不等式与UMVUE的关系.pptVIP

五、 估计量的比较 事实上，均方误差准则也是个很高的要求。这是因为该准则下最优的估计 应满足： 无偏估计的例子 例 2.1.32 样本均值和 分别为总体均值和方差的无偏估计。 注：样本方差 不是总体方差的无偏估计。这也是我们对样 本方差进行如此修正的原因。 注：UMVUE存在则a.s.唯一 二、Cramer-Rao不等式（信息不等式） 2.2.11 定义 C-R不等式中定义的 称为Fisher信息量(Fisher Information) 。通常表示样本中包含的信息量。 C-R下界达到的充要条件 有效估计 三、UMVUE与充分完备统计量 完备统计量 注：(1) 分布族完备性的定义类似于函数族完备性的定义。 (2) 样本分布族是完备的，则相应的统计量亦然；反之并不成立。 (3) 指数族在一定的条件下，其中统计量 为完备统计量。 UMVUE的一个充要条件 2.1.28 在一个估计问题中，对一个参数函数往往可以提出多个不同的估计量。这时就有一个如何评价其优劣的问题。 直观上， 的一个理想的估计 ，它的分布应该集中在 的附近，且该估计要适应参数所有可能出现的情况。这样，若 比估计量 好，它应满足 但上式不易满足和验证，为了处理方便改而要求 该式称为均方误差准则。 其中 为存在二阶矩的估计量全体。往往 不存在， 常用的解决办法是对 施加限制。在一个相对较小的类中寻求最优的估计。一个常用的限制就是无偏性。 定义2.1.29 设 为参数函数 的估计量，若成立 则称 为参数函数 的无偏估计(unbiased estimator)。 若 不满足(2.1)式，则称 为有偏的(biased)，并将 称为估计量 的偏(bias)。 由于估计量是随机变量，故评价它否合理，不能根据一次估计的结果，而应该根据多次反复使用这个统计量的“平均”效果来评价．由此给出无偏估计的“频率解释”。 假定在同一个模型（同样的总体分布与样本容量）下，对同一个参数函数 用同一个无偏估计进行多次估计，记第m次估计为 ，由大数定律得 也就是说，当反复使用该估计多次时，其偏差将能够正负抵消，从而没有系统的偏差。 例2.1.33 设样本 为取自指数分布总体的简单随机样本，总体分布的密度为 ，其中 未知参数。则样本均值 是 的无偏估计，但 不是 的无偏估计。 注：此处可用逆Gamma分布的结论。 例2.1.34 对于正态总体，由命题1.4.4和1.3.16可知 可见 不是总体标准差的无偏估计 。 对无偏估计的三点说明：（1）无偏估计不一定存在 例：设容量为1的样本 ，其中n已知p为未知参数，考虑 ，则它不存在无偏估计。（2）无偏估计一般不唯一 书例2.1.34（3）无偏估计不一定是好估计 例：设是贝努里试验的成功概率 ， 表示首次成功发生之前的试验次数，则 服从几何分布，其概率函数为： 则可以求出参数 唯一的无偏估计为 显然，它是一个很差的估计。 但是，要求估计具有无偏性确实可以排除一些不合理的估计。如常数往往就不是无偏估计。 估计的效 若无偏估计量 和 满足 则称 比 有效(effective)，进一步，规定 为 关于 的相对效率(relative efficiency) 若记 为参数函数 的无偏估计全体，则参数函数 可估等价于 非空。 2.2 一致最小方差无偏估计 2.2.2 定义 参数函数 ，若它存在无偏估计，则称 为可估的(estimable). 2.2.5 定义 若 为参数函数 的无偏估计，且对任一 都成立 则称 为参数函数 的一致最小方差无偏估计(Uniform Minimum Variance Unbiased Estimator)，简记为UMVUE。 (1) 参数空间为开集 (2) 分布的支撑与参数无关 (3) 存在关于参数的偏导且求导和积分可以换序 (4)