第一章贝叶斯统计原理及方法.pptVIP

贝叶斯统计 预修要求：已修过概率论与数理统计 贝叶斯方法(Bayesian approach ) 贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(Samuel Kotz和吴喜之,2000)。 贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。 “贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”──摘自《中国大百科全书》（数学卷） 目 录 第一章先验分布与后验分布 统计学中有两个主要学派：频率学派与贝叶斯学派。下面从统计推断的三种信息来说明他们之间的区别与联系。 §1.1 三种信息 一、总体信息，即总体分布或总体所属分布给我们的信息。 例如：”总体是正态分布“ 说明：总体信息是很重要的信息，为了获取此种信息往往耗资巨大。 二、样本信息，即从总体抽取的样本给我们的信息。（愈多愈好） 人们希望通过对样本的加工和处理对总体的某些特征做出较为精确的统计推断。 例：有了样本观察值，我们可根据它大概知道总体的一些特征数（均值、方差等）在一个什么范围内。 （1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。 它与经典统计学的差别就在于是否利用先验信息。 贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。 忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。 在使用样本信息上也是有差异的.贝叶斯学派重视已出现的样本观察值,而对尚未发生的样本观察值不予考虑. 贝叶斯学派的基本观点：任一未知量? 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量? 新的分布—后验分布；任何关于? 的统计推断都应该基于? 的后验分布进行。 总结 理解贝叶斯统计学与经典统计学的主要差别。 贝叶斯统计学派的最基本的观点 。 4.?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x=（x1 , …, xn）和参数? 的联合分布为: h(x, ? ) = p(x?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了。 5.我们的任务是对未知数? 作出推断。在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值x=( x1, x2 , …, xn )之后，则应依据 h(x , ? )对? 作出推断。由于 h(x , ? ) =?(? ? x )m(x)， 其中 是x=(x1, x2 , …, xn )的边际概率函数，它与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x)，它的计算公式是 这个条件分布称为? 的后验分布,它集中了总体、样本和先验中有关? 的一切信息,而又是排除一切与?无关的信息之后得到的结果。 6.在? 是离散型随机变量时，先验分布可用先验分布列?(?i)，i=1,2,…，表示。这时后验分布也是离散形式 例1.4. 设某事件A在一次试验中发生的概率为? ，为估计? ，对试验进行了n次独立观测，其中事件A发生了X次，显然 X?? ?b(n,? )，即 这是似然函数。 假若我们在试验前对事件A没有什么了解，从而对其发生的概率? 也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为? 的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。 由此即可利用贝叶斯公式求出? 的后验分布。具体如下：先写出X和? 的联合分布 然后求X的边际分布 最后求出? 的后验分布 最后的结果说明? 的后验分布为Be(x+1,n-x+1)， 总