最小方差无偏估计.ppt

定理6.3.3设x=(x1,x2,…,xn)是来自某总体的一个样本，是?的一个无偏估计，如果对任意一个满足E(?(x))=0的?(x)，都有则是?的UMVUE。关于UMVUE，有如下一个判断准则。第6页,共18页，星期六，2024年，5月例6.3.2设x1,x2,…,xn是来自指数分布Exp(1/?)的样本，则T=x1+…+xn是?的充分统计量，而是?的无偏估计。设?=?(x1,x2,…,xn)是0的任一无偏估计，则两端对?求导得这说明，从而由定理6.3.3，它是?的UMVUE。第7页,共18页，星期六，2024年，5月6.3.3Cramer-Rao不等式定义6.3.2设总体的概率函数P(x,?),?∈Θ满足下列条件：(1)参数空间Θ是直线上的一个开区间；(2)支撑S={x:P(x,?)0}与?无关；(3)导数对一切?∈Θ都存在；(4)对P(x,?)，积分与微分运算可交换次序；(5)期望存在；则称为总体分布的费希尔(Fisher)信息量。第8页,共18页，星期六，2024年，5月费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I(?)有关。I(?)的种种性质显示，“I(?)越大”可被解释为总体分布中包含未知参数?的信息越多。第9页,共18页，星期六，2024年，5月例6.3.3设总体为泊松分布P(?)分布，则于是第10页,共18页，星期六，2024年，5月例6.3.4设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是第11页,共18页，星期六，2024年，5月定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,…,xn是来自该总体的样本，T=T(x1,x2,…,xn)是g(?)的任一个无偏估计，存在，且对一切?∈Θ，微分可在积分号下进行，则有第12页,共18页，星期六，2024年，5月上式称为克拉美-罗（C-R）不等式;[g’(θ)]2/(nI(?))称为g(?)的无偏估计的方差的C-R下界，简称g(?)的C-R下界。特别，对?的无偏估计,有;如果等号成立，则称T=T(x1,…,xn)是g(?)的有效估计，有效估计一定是UMVUE。第13页,共18页，星期六，2024年，5月例6.3.5设总体分布列为p(x,?)=?x(1-?)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为，若x1,x2,…,xn是该总体的样本，则?的C-R下界为(nI(?))-1=?(1-?)/n。因为是?的无偏估计，且其方差等于?(1-?)/n，达到C-R下界，所以是?的有效估计，它也是?的UMVUE。第14页,共18页，星期六，2024年，5月例6.3.6设总体为指数分布Exp(1/?)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I(?)=?-2，若x1,x2,…,xn是样本，则?的C-R下界为(nI(?))-1=?2/n。而是?的无偏估计，且其方差等于?2/n，达到了C-R下界，所以，是?的有效估计，它也是?的UMVUE。第15页,共18页，星期六，2024年，5月能达到C-R下界的无偏估计不多:例6.3.7设总体为N(0,?2)，满足定义6.3.2的条件，且费希尔信息量为，令,则?的C-R下界为,而?的UMVUE为其方差大于C-R下界。这表明所有?的无偏估计的方差都大于其C-R下界。第16页,