概率论与数理统计教案 Lesson plan14：6.4贝叶斯估计.docVIP

概率论与数理统计教案 授课日期：2011年4月25日 6.4贝叶斯估计 一、教学目标： 1、初步理解贝叶斯估计的思想； 2、初步掌握贝叶斯估计的方法。 二、教学重点： 1、贝叶斯公式的密度函数形式； 2、贝叶斯估计。 三、教学难点：贝叶斯估计。 四、教学准备：课件 五、教学过程： 对于母体分布中的未知参数θ，用不同的估计法可能得到不同的无偏估计量，比如ξ～U[0, θ]，θ＞0未知，其矩估计为无偏估计，由极大似然估计也是的无偏估计，那么与哪个更好呢？ 定义6.4 参数θ有两个无偏估计与，若有≤ 对一切θ 成立则称比更有效。 例6.10检验U[0, θ]中与哪个更有效。 ∵ ∴ ∵而 ∴ ∴ 故当n≥2时，比更有效。 由上面的讨论我们知道，无偏估计的方差越小越好，一个很自然的问题是：无偏估计的方差是否可以任意小？如果不可以任意小，那么这个无偏估计方差的下界是什么？这个下界能否达到？（引发学生的思考）回答这些问题的最重要结果是Cramer和Rao分别在1945年和1946年所证明的一个重要不等式，即被称之为C-R不等式，由于该不等式的证明要求母体分布满足一系列的正则条件，为此先介绍关于C-R正则分布族的概念。（介绍相关史资料） 定义：假设单参数概率函数族{f(,θ), θ}满足如下条件： （1）参数空间是直线上的某个开区间； △ （2）支撑 ＞0}不依赖于θ； （3）存在，且对一切θ成立。 （4）下面的数学期望存在，且 则称分布族{f(,θ),θ}为C-R正则分布族，其中条件(1)——(4)称为C-R正则条件，I(θ)称为该分布族的Fisher信息量,易验证，贝努里分布族{b(1,P),P(0,1)},Poisson分布族{P(λ),λ＞0},正态分布族{ N(μ,σ2),-∞＜μ＜＋∞, σ2＞0}关于它的一个参数， 分布族{}关于它的一个参数等都属于C-R正则分布族。但均匀分布族{U（0,θ）θ＞0}不是C-R正则分布族。 定理(C-R不等式)，设母体ξ～f(,θ)而{f(,θ)θ}为C-R正则分布族，ξ1, ……, ξη为取自ξ的一个子样，η=u（ξ1, ……, ξη）为待估函数g(θ)的一个无偏估计，满足 (6.7) (6.8)且(6.8)中等号成立存在一个不依赖于子样的K(θ)(即K可能依赖于θ)使以Pr为1地成立 (6.9) 上面(6.8)称C-R不等式，特别当g(θ)= θ时，记η= 则有 (6.10) 证明见书P275-P277 上面的C-R不等式，给出了无偏估计的方差的一个下界，这个下界称为Rao-cramer下界，对于C-R正则分布族，如果某个θ的无偏估计的方差达到这个下界，那么它就是满足条件(6.7)的无偏估计类中方差最小的，无疑这个估计量是比较理想的。进一步，如果θ的无偏估计都满足(6.7)，那么达到C-R下界的无偏估计就是最有效的，也就是最小方差无偏估计。 定义6.4若的一个无偏估计满足： (即达到C-R不等式的下界)则称为θ的有效估计。 定义6.5若是θ的一个无偏估计，存在I(θ)= 则称为的有效率 显然有0＜≤1 而有效估计是最有效的一个，其有效率达到1。 在求C-R下界时，母体的Fisher信息量I(θ)是一个重要的量，I(θ)出现在C-R下界的分母中，因此I(θ)越大，下界越小，此时，有效估计也就越精确，我们可把这一点解释为子样中包含未知参数的“信息”越多，这也许可作为“信息量”这个名称的一种解释。 例6.10设母体ξ～b(1，p) P(0.1) ξ1, ……, ξn为子样，求P的C-R下界。 解：先求I(P) 令 ∴ 取 ∴是P的有效估计 例6.11（根据情况可不讲）设母体ξ～P(λ),λ＞0未知，求λ的C-R下界 解：∵f(,λ)= x=0,1,2,…… ∴ = = ∴λ的C-R下界为 取 则 ∴是λ的有效估计 在求某个未知参数θ的C-R下界时，除像上面的几个例子一样，用定义求I(θ)，求I(θ)还可用另外的方法。 性质 若 (6.11) 证：…… 例6.12设ξ1, ……, ξn为取自正态母体N(μσ2)的一个子样，μ未知，且-∞＜μ＜＋∞，验证为μ的有效估计。 解：先求μ的C-