贝叶斯统计与决策讲座.pptxVIP

STATISTICS ; 统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。;讲座内容;1 贝叶斯统计概述 1.1 全概率公式与贝叶斯公式;将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的全概率公式。;( 2 ) 解：;Bayes公式;称 P( Bi ) 为先验概率，它是由以往的经验得到的，它是事件 A 的原因。; 例 1.1 用Bayes公式分析伊索寓言《孩子与狼》中村民对小孩的信赖程度是如何下降的。;小孩第说二次谎后的可信度为：;; 1.总体信息：总体分布或所属分布族提供给我们的 信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息;1.2.2 贝叶斯学派与频率学派之间存在重大差异;1) 统计推断时的依据不同;2) 对概率的概念的理解不同;3) 两个学派统计推断理念之间存在着根本差异; 贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。由此可以看出，频率学派统计推断是“从无到有”的过程——在试验前，关于位置参数的情况是一无所知，而试验后则有些了解，但了解多少？并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性；贝叶斯统计推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯——根据所获得的信息修正以前的看法，不一定从零开始，从本质上说，贝叶斯推断理论概括了多数成年人的学习过程。; 但是最主要的差别，也是贝叶斯理论的一个重要特征，在于只能基于后验分布，也就是说，在获得后验分布后，如果把样本、原来的统计模型都丢掉，一点也不会影响将来的推断，凡是符合这个准则的推断就是贝叶斯推断。据此，矩估计、显著性统计检验和置信区间估计都不属于贝叶斯??断，但最大似然估计则可视为均匀先验分布之下的贝叶斯推断，因此，作为频率学派中一个很重要的极大似然估计，其实，它只不过是在一种很特殊先验分布下的贝叶斯估计而已。;1.3.1 贝叶斯公式的三种形式;假设Ⅰ 随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。;假设Ⅲ 从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。; 在这个联合密度函数中。当样本 给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：;3.贝叶斯公式的离散形式：; 前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到 。所以对θ的统计推断就应建立在后验分布 的基础上。;例1.2 设事件A的概率为 ，即 。为了估计 而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布 即;即：;注：伽玛函数与贝塔分布简介：; 特例：?当p=q=1时，Be(1,1)分布即为区间 [0，1]上的均匀分布； ?当p=q=1/2， Be (1/2,1/2)分布称为反正弦分布，密度函数为： ?设 ，则 的密度函数为：;为什么将贝塔分布作为θ的先验分布族是恰当的？;例1.3 投资决策问题;试验A， A：试制5个产品，全是高质量的产品;试验B， B：试制10个产品，9个是高质量的产品; 1.4 共轭先验分布;1.4.2 样简化后验分布的计算 ——省略常数因子 ;例1.4 证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。;1.4.3