高等数理统计 点估计..ppt

思考题 (巴格达窃贼问题)一窃贼被关在有3个门的地牢中,其中第一个门通向自由,出这个门3秒便回到地面;第2个门通向一个地道,在此地道中走5秒将返回地牢;第3个门通向一个更长的地道,沿这个地道7秒后也回到地牢.如果窃贼每次选择3个门的可能性相等,试求他为获得自由而奔走的平均时间. 第二章 点估计 学习目的和要求 学习重点 学习难点 教学方法 授课时数 基本内容 学习目的和要求 目的和要求： 了解参数估计的基本概念, 掌握判断点估计优良的几个标准，理解无偏估计量的性质和Fisher信息量与信息不等式的意义。在此基础上，掌握点估计的几种方法：矩法、极大似然法、最小二估计法、同变估计法、稳健估计法。 学习重点 1 、点估计量的优良标准 2、几种点估计的方法 学习难点 掌握点估计量优良的判断标准 教学方法 授课时数 10学时 基本内容 第一节 参数估计的概念、估计量的优良标准 第二节 信息不等式 第三节 几种点估计的方法与应用 （矩法、极大似然法、最小二乘法、同变估计、稳健估计） 思考 无偏性的特质 信息不等式 Cramer-Rao不等式:用Fisher信息表示无偏估计的方差(协差阵)的一个不等式 布丰实验的历史意义 1、产生了几何概率的思想 从而， 思考题 把长为l的木棒任意折成三截，求能构成三角形的概率。 思考题 池塘里有多少条鱼 四、贝叶斯估计 经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息； 贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。 （1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。 ?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: h(x1, x2 , …, xn, ? ) = p(x1, x2 , …, xn?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了； 在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ? )对? 作出推断。由于 h(x1,x2 ,…,xn , ? ) =?(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 是x1, x2 , …, xn 的边际概率函数，它与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x1, x2 , …, xn)，它的计算公式是 这个条件分布称为? 的后验分布，它集中了总体、样本和先验中有关? 的一切信息。 贝叶斯估计 基于后验分布?(?? x1, x2 , …, xn )对? 所作的贝叶斯估计有多种，常用有如下三种： 使用后验分布的密度函数最大值作为? 的点估计，称为最大后验估计； 使用后验分布的中位数作为? 的点估计，称为后验中位数估计； 使用后验分布的均值作为? 的点估计，称为后验期望估计。 用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为 。 例 设某事件A在一次试验中发生的概率为? ，为估计? ，对试验进行了n次独立观测，其中事件A发生了X次，显然 X?? ?b(n,? )，即 假若我们在试验前对事件A没有什么了解，从而对其发生的概率? 也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为? 的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。 由此即可利用贝叶斯公式求出? 的后验分布。具体如下：先写出X和? 的联合分布 然后求