北京大学考研辅导班讲义-统计计量部分-参数估计绪论.ppt

 新祥旭北京大学光华管理学院考研辅导课件 统计学 能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0,? 2 )，满足定义6.3.2的条件，且费希尔信息量为 ，令 , 则? 的C-R下界为 , 而? 的UMVUE为 其方差大于C-R下界。这表明所有? 的无偏估计的方差都大于其C-R下界。 费希尔信息量的主要作用体现在极大似然估计。 定理6.3.5 设总体X有密度函数 p(x;? )，?∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和 对所有?∈Θ都存在； (2) ??∈Θ, 有 ， 其中函数F1(x) , F2(x), F3(x)可积. (3) ??∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数? 的极大似然估计 ，且 具有相合性和渐近正态性: §6.4 贝叶斯估计 6.4.1 统计推断的基础 经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息； 贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。 （1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。 贝叶斯学派的基本观点：任一未知量? 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量? 新的分布—后验分布；任何关于? 的统计推断都应该基于? 的后验分布进行。 6.4.2 贝叶斯公式的密度函数形式 总体依赖于参数? 的概率函数在贝叶斯统计中记为P (x | ? )，它表示在随机变量θ取某个给定值时总体的条件概率函数； 根据参数? 的先验信息可确定先验分布?(? )； 从贝叶斯观点看，样本 x1, x2 , …, xn 的产生分两步进行:首先从先验分布?(? )产生一个样本?0，然后从P (x |?0)中产生一组样本。这时样本的联合条件概率函数为 ，这个分布综合了总体信息和样本信息； ?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: h(x1, x2 , …, xn, ? ) = p(x1, x2 , …, xn?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了； 在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ? )对? 作出推断。由于 h(x1,x2 ,…,xn , ? ) =?(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 是x1, x2 , …, xn 的边际概率函数，它与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x1, x2 , …, xn)，它的计算公式是 这个条件分布称为? 的后验分布，它集中了总体、样本和先验中有关? 的一切信息。 后验分布?(?? x1, x2 , …, xn )的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布?(? )作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。 6.4.3