第2章参数估计汇编.ppt

第二章 参数估计 一、参数及其估计 二、替换原理 三、极大似然法 估计量的优良性准则 四、均方误差准则 五、一致最小方差无偏估计 六、信息不等式 七、相合估计 区间估计 一、区间估计 二、数学期望的区间估计 三、正态总体方差的区间估计 四、 0-1分布参数的区间估计 分可交换次序， 即 当仅有（1）成立时，我们可以定义所谓的 Fisher 信息量（Fisher Information Number） 例4.7 设总体分布是Poisson分布族， 即 则 因而 可以证 明 ， 定理4.4(Cramer-Rao or Information Inequality ) 的统计量， 如果分布族是 Cramer-Rao正则族， 则对所 证明 由于对所有 ， 等式两边对求导可得 有 有 又因为对所有的 ， 等式两边对求导可得 即就是 这样就有 从而有 由Schwarz Inequality 有 而 所以有 即就是 在信息不等式中，下界通过 依赖于 因它是的 数学期望， 也就是说对 不同的统计量而言，下界是变化的。 如果将此 有 特别地， 有 通常称量 为Cramer-Rao下界。 注意：（1）在以上三个不等式中 的密度函数或分布率。 通常将 看成一次观察所能获得的关于 参数 的信息， 即一个观测值 所含 的信息， 那么 就表示样本 所含 的信息。 （2） 在将定理4.4应用于无偏估计类 时， 一定要注意定理的条件是否满足。 Cramer 在1946年举例说明当定理的条件不满足时， 存在这样的无偏估计， 其方差小于信息不等 式的下界。 这个例子为： 取充分统计量 作为参数 的估计， 通过取其数学期望可获得参数的无偏估计为 则有 其具体证明过程课后自己完成。 对无偏估计类而言， 了方差的下界， 那么UMVUE方差是否一定取 既然信息不等式给出 得这个下界？ 我们用下述例子说明不一定。 例4.8 一个简单样本。 试求参数 的UMVUE， 并 证明其方差大于信息不等式的下界。 解 由于 由定理4.2知完全充分统计量为 ， 所以 UMVUE为 ， 且服从 。 而由 有 统计量 的函数， 所以它是 的UMVUE。 为了计算UMVUE的方差， 令 则 而 所以 这说明 的UMVUE的方差未达到信息不等 式的下界。 信息不等式的下界， 即 例4.9 一个简单样本。 解 由于 从而 对任 有 所以 ～ 即 故 定义4.4 则族， 其方差达到信息不等式的下界， 如果存在某无偏估计 即 则称 为 的 有效估计。 (Efficient Estimate) 定义4.5 令 有效率(Efficiency)。 显然 因此，有效估计乃是有效率为1的无偏估计。 定义4.6 如果 都有 渐近无偏估计。 （Asymptotic Unbiased Estimate） 例如对证态总体 ， 我们知道 是总 体方差 的有偏估计， 且 这样有 定义4.7 如果存在无偏估 使得 成立， 则称 为 的 渐近有效估计。 (Asymptotic Efficient Estimate) 例如 由于 所以 ～ 即 而Cramer-Rao下界为 是有效估计。 但是 需要说明的是 当UMVUE的方差较大时， 方差小 的有偏估计也不失为一个好的估计。 作业： 1. 设总体 的密度函数为 ， 试证明 2. (2) (1) 试证明 是 的无偏估计。 引例 假设掷一枚硬币， 出现正面的概率是 ， 出现反面的概率为 。 为了估计正面出 现的概率 ， 做 次独立重复试验， 即将硬币 反复掷 次， 令 由大数定律知， 试验次数 越多， 频率 越 频 率 稳定于（趋于）概率 。 接近于正面出现的概率 ， 时， 当样本容量变大 要求参数的估计量具有这种极限性质实际 上是对估计量的基本要求， 这就是下面要介绍 估计量的相合性(Consistency)准则。 定义4.8 任一估计序列， 相合估计。 (Consistent Estimate) 一般情形下证明估计的相合性可使用定