《概率论与数理统计教程-朱庆峰》第6章 参数估计 6.1-6.4.pptVIP

第6.1节 点估计方法 一般常用? 表示参数，参数? 所有可能取值组成的集合称为参数空间，常用?表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。 一、点估计问题的提法 在这里如何构造估计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题： 二、估计量的求法 一、矩估计法 定义6.1.1 设总体的概率函数为P(x;? )，?是参数? 可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成? 的函数，用L(? ; x1, x2, …, xn) 表示，简记为L(? )， 如果某统计量 满足 则称 是? 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。 极大似然估计有一个简单而有用的性质：如果 是? 的极大似然估计，则对任一函数 g(? )，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。 例6.3.6 设 x1 , x2 , …, xn是来自正态总体 N(? ,? 2) 的样本，则?和? 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是: 三、小结 2.有效性 定义6.2.1 设? ∈Θ为未知参数， 是? 的一个估计量，n 是样本容量，若对任何一个ε0，有 则称 为? 参数的相合估计。 若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于?,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。 在判断估计的相合性时下述两个定理非常有用。 定理6.2.1 设 是? 的一个估计量，若 则 是? 的相合估计。 例6.2.5 设 x1, x2 , …, xn 是来自均匀总体U(0, ? )的样本，证明? 的极大似然估计是相合估计。 证明：在例6.3.5中我们已经给出? 的极大似然估计是 x(n)。由次序统计量的分布，我们知道 x(n) 的分布密度函数为p(y)=nyn-1/? n, y ?, 故有 由定理6.2.1可知，x(n)是? 的相合估计。 由大数定律及定理6.2.2，我们可以看到： 矩估计一般都具有相合性。比如： 4. 均方误差 评价一个点估计的好坏一般可以用：点估计值 与参数真值? 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。 注意到 ，因此 (1) 若 是? 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是? 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。 例6.4.1 对均匀总体U(0, ? )，由? 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑θ的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。 定理6.4.1 设 x=(x1, x2 , …, xn) 是来自某总体的一个样本， 是? 的一个无偏估计， 则 是? 的UMVUE的充要条件是，对任意一个满足E(?(x))=0,Var(?(x))∞的?(x)，都有 例6.4.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/? )的样本，则T = x1+…+xn