贝叶斯统读书报告.docx

苏州大学研究生考试答卷封面考试科目：贝叶斯统计考试得分：________________院别：数学科学学院专业：应用统计专硕学生姓名：林挺挺学号：20154507001 授课教师：朱信枢考试日期：年月日贝叶斯统计读书报告背景——贝叶斯学派的起源与发展简介在国际统计学术界中有贝叶斯统计和经典统计两大学派，这两个学派之间长期存在争论，至今也没有定论。贝叶斯学派起源于贝叶斯的《机会学说中一个问题的解》，随后拉普拉斯不仅独立的发现了贝叶斯定理，而且阐述的比贝叶斯更为清晰，并用它来解决天体力学、医学统计和法学问题。二十世纪50年代后，经拉姆齐、杰弗里斯、萨维奇等统计学家的努力，形成了系统的方法和学说，日益受到人们的重视，并渗透到非统计领域。事实上，这两个学派的争论构成了现代数理统计发展过程的一个特色。英国统计学家Lindely认为21世纪将是贝叶斯统计的世界，而Efrom认为出现这个局面的可能性只有15%。但无论如何，这两个学派学者都认为：这场争论对现代统计理论的发展将起着积极的促进作用。贝叶斯统计方法与经典统计方法的比较在统计推断的基本理论和方法两个方面，贝叶斯学派与经典学派之间存在着本质性的差异，这主要表现在以下几个方面：1.经典学派在进行统计推断时，依据两类信息：一是总体信息，即统计总体服从何种概率分布，这是制定统计方法的基础；另外一个是样本信息，即观察或实验的结果。贝叶斯学派则除了以上两类信息外，尚利用另外一类信息，即总体分布中未知参数的分布信息。2.经典学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论，如在Neyman的区间估计理论中，“某区间估计的置信水平为1-”这一推断，此处应理解为一无随机性的未知参数，当区间估计反复大量使用时，100次中大约平均有(1-)100次包含了参数。与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它并不依赖时间能否重复。3.贝叶斯方法只能基于参数的后验分布来分析问题。也就是说，在获得后验分布后，如果把样本、原来的统计模型(包括总体分布和先验分布)都丢掉，一点也不会影响将来的统计推断问题，凡是符合这个准则的推断就是贝叶斯推断。就此，经典学派中的矩估计、显著性检验和置信区间估计都不属于贝叶斯推断的范畴，但MLE估计则可视为均匀先验分布之下的贝叶斯估计。因此，作为经典学派中一个很重要的极大似然估计，不过是在一种很特殊先验分布下的贝叶斯估计而已。第一章先验分布和后验分布1.1贝叶斯公式贝叶斯公式的密度函数形式1.依赖于参数的密度函数在经典统计中记为p(x;)或,它表示在参数空间={}中不同的对应不同的分布。可在贝叶斯统计中记为p(x|)它表示在随机变量给定某个值时，总体指标X的条件分布。2.根据参数的先验信息确定先验分布。这是贝叶斯学派在最近几十年里重点研究的问题。3.从贝叶斯观点看，样本x=(,…,)的产生要分两步进行。首先设想从先验分布产生一个样本，这一步是“老天爷”做的，人们是看不到的，故用“设想”二字。第二部是从总体分布p(x|)产生一个样本x=(,…,),这个样本是具体的，人们能看到的，此样本x发生的概率是与如下联合密度函数成正比。这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值x=(,…,)后，总体和样本中所含的信息都被包含在似然函数之中，可在使用似然函数作统计推断时，两派之间还是有差异的。4.由于是设想出来的，它仍然是未知的，它是按先验分布而产生的，要把先验信息进行综合，不能只考虑，而应对的一切可能加以考虑。故要用参与进一步综合。这样一来，样本x和参数的联合分布把三种可用的信息都综合进去了。5.我们的任务是要求未知数做出统计推断。在没有样本信息时，人们只能据先验分布对作出推断。在有样本观察值x=(,…,)之后，我们依据对作出推断。为此我们需把作如下分解：其中m(x)是x的边缘密度函数。它与无关，或者说，m(x)中不含的任何信息。因此能用来对作出推断的仅是条件分布。它的计算公式是这就是贝叶斯公式的密度函数形式。这个在样本x给定下，的条件分布被称为的后验分布。它是集中了总体、样本和先验等三种信息中有关的一切信息，而又是排除一切与无关的信息之后所得到的的结果。6.在是离散随机变量时，先验分布可用先验分布列,i=1,2,…,表示。这时后验分布也是离散形式。，i=1,2,….假如总体X也是离散的，那只要把上述中的密度函数看作为概率函数即可。后验分布是三种信息的综合一般来说，先验分布是反映人们在抽样前对的认识，后验分布是反映了人们在抽样后对的认识，之间的差异是由于样本x出现后人们对认识的一种调整。所以后延分布可以看作是人们用总体信息和样本信息(综合称为抽样信息)对先验分布作调整