先验分布与后验分布.pptxVIP

会计学第1页/共55页第一章 先验分布与后验分布一、统计推断中可用的三种信息 二、贝叶斯公式三、共轭先验分布四、超参数及其确定五、多参数模型六、充分统计量第2页/共55页§1.1 统计推断中可用的三种信息 1.总体信息：总体分布或所属分布族提供给我们的信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息。 (两个例子）第3页/共55页§1.2 贝叶斯公式 贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。一、贝叶斯公式的三种形式第4页/共55页 初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。1.贝叶斯公式的事件形式： 假定 是互不相容的事件，它们之和 包含事件B，即 ，则有： 第5页/共55页例1.5投资决策问题 为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资100万元，但从投资效果看，下属部门有两种意见： θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70%问：公司经理怎样决策？注：根据过去的经验知：θ1的可信度为40%，θ2的可信度为60%第6页/共55页 2.贝叶斯公式的密度函数形式： 在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设 ：假设Ⅰ 随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ 当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。第7页/共55页假设Ⅲ 从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1） 先验分布定义1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。（2） 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数： 第8页/共55页 在这个联合密度函数中。当样本 给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。而 ：是样本的边际分布，或称样本 的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。3.贝叶斯公式的离散形式：第9页/共55页 当 是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式： 假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。 第10页/共55页二、后验分布是三种信息的综合 前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到 。所以对θ的统计推断就应建立在后验分布 的基础上。第11页/共55页例1.4 设事件A的概率为 ，即 。为了估计 而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布即如何求出后验分布？ 解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对 的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：X与参数 的联合分布：此式在定义域上与二项分布有区别。第12页/共55页X的边际密度为:4.利用贝叶斯公式可得 的后验分布：即： 5.具体算例。拉普拉斯计算过这个