贝叶斯统计与决策讲座.pptxVIP

STATISTICS 42-4-20μPROBABILITY STATISTICSPROBABILITYPROBABILITY STATISTICS贝叶斯统计与决策STATISTICS PROBABILITYPROBABILITY STATISTICSPROBABILITY STATISTICSSTATISTICS PROBABILITYPROBABILITY STATISTICS 吴志雄PROBABILITYPROBABILITY STATISTICSSTATISTICS 引言 统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。讲座内容1 贝叶斯统计概述2 先验分布的确定3 贝叶斯统计推断4 贝叶斯决策1 贝叶斯统计概述 1.1 全概率公式与贝叶斯公式引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球. 某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(1) 解：记 Bi ={ 球取自 i 号箱 },i=1, 2, 3; A ={取得红球}B1A, B2A, B3A 两两互斥依题意，P(A|B1)=1/5, P(A|B2)=2/5, P(A|B3)=3/3将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的全概率公式。引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球. 某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。( 2 ) 解：这类问题，是“已知结果求原因”是已知某结果发生条件下，求各原因发生可能性大小。Bayes公式　 设B1,B2,…,Bn是两两互斥的事件，且P(Bi)0，i=1,2,…,n, 另有一事件A，它总是与B1,B2,…,Bn 之一同时发生，则 称 为后验概率，它是得到了信息 — A 发生，再对导致 A 发生的原因Bi发生的可能性大小重新加以修正。称 P( Bi ) 为先验概率，它是由以往的经验得到的，它是事件 A 的原因。后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作“贝叶斯统计”。 可见贝叶斯公式的影响 。不妨设：P(B)= 0.8； 例 1.1用Bayes公式分析伊索寓言《孩子与狼》中村民对小孩的信赖程度是如何下降的。解:A ：小孩说谎；B ：小孩可信；小孩第说一次谎后的可信度为：小孩第说二次谎后的可信度为：1.2 贝叶斯统计 贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。 1.2.1 统计推断中可用的三种信息 1.总体信息：总体分布或所属分布族提供给我们的 信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息1.2.2 贝叶斯学派与频率学派之间存在重大差异1)频率统计学派与贝叶斯学派在进行统计推 断时的依据不同；2)对概率的概念的理解不同；3)两个学派的具体统计推断理念之间存在根 本差异。1) 统计推断时的依据不同频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。 在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。 2) 对概率的概念的理解不同 频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；3) 两个学派统计推断理念之间存在着根本差异 统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型、确定统计量和决定统计量的分布。根据费歇尔的观点，信息量包含在样本中，但样本为数众多，因此须用少数几个统计量把信息集中起来，而抽样分布则决定了统计