第6章参数估计.pptVIP

第六章 参数估计 一般常用? 表示参数，参数? 所有可能取值组成的集合称为参数空间，常用?表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。 定义6. 1. 3 设 是? 的两个无偏估计，如果对另外任意一个? ∈Θ上都有 且至少有一个? ∈Θ使得上述不等式严格成立，则称 比 有效。 相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证. 如果某统计量 满足 则称 是? 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。 6.2.4 均方误差 无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值? 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。 Rao-Blackwell定理 定义6.3.2 设总体的概率函数 P(x,? ), ?∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x,? )0}与? 无关； (3) 导数 对一切?∈Θ都存在； (4) 对P(x,? )，积分与微分运算可交换次序； (5) 期望 存在；则称 为总体分布的费希尔(Fisher) 信息量。 费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I(? )有关。I(? )的种种性质显示，“I(? )越大”可被解释为总体分布中包含未知参数? 的信息越多。 例6.3.3 设总体为泊松分布P(?)分布，则 于是 例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是 定理6.3.4（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , …, xn 是来自该总体的样本，T=T(x1, x2 , …, xn )是g(? )的任 一个无偏估计， 存在，且对?∈Θ 中一切? ，微分可在积分号下进行，则有 上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI(? ))称为g(? )的无偏估计的方差 的C-R下界，简称g(? )的C-R下界。 特别，对? 的无偏估计 ,有 ; 例6.3.5 设总体分布列为p(x,? )= ? x(1-? )1-x, x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1, x2, …, xn 是该总体的样本，则? 的C-R下界为(nI(? ))-1= ? (1-? )/n。因为 是? 的无偏估计，且其方差等于? (1-? )/n，达到C-R 下界，所以 是? 的有效估计，它也是? 的UMVUE。 例6.3.6 设总体为指数分布Exp(1/? )，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I(? ) = ? -2，若x1, x2, …, xn 是样本，则? 的C-R下界为(nI(? ))-1=? 2/n。而 是? 的无偏估计，且其方差等于? 2/n，达到了C-R下界，所以， 是? 的有效估计，它也是? 的UMVUE。 能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0,? 2 )，满足定义6.3.2的条件，且费希尔信息量为 ，令 , 则? 的C-R下界为 , 而? 的U