ch1 先验分布与后验分布 贝叶斯统计课件.pptVIP

§1.1 统计推断中可用的三种信息 1.总体信息：总体分布或所属分布族提供给我们的信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息。 一、贝叶斯公式的三种形式 初等概率论中的贝叶斯公式是用事件的 概率形式给出的。可在贝叶斯统计学中应用 更多的是贝叶斯公式的密度函数形式。 1.贝叶斯公式的事件形式： 假定 是互不相容的事件，它 们之和 包含事件B，即 ，则有： 3.贝叶斯公式的离散形式： 当 是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式： 假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。 例1.5 投资决策问题 为了提高某产品的质量，公司经理考虑增加投 资来改进生产设备，预计需投资100万元，但从投 资效果看，下属部门有两种意见： θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70% 问：公司经理怎样决策？ 注：根据过去的经验知：θ1的可信度为40%，θ2的可 信度为60% §1.3 共轭先验分布 一、共轭先验分布 定义2 设 是总体分布中的参数（或参数向 量）， π(θ)是 的先验密度函数，假如由抽样 信息算得的后验密度函数与π(θ)有相同的形式， 则称π(θ)是 的（自然）共轭先验分布。 例1.6 证明：正态均值（方差已知）的共轭先验分布是正态分布。 (2)确定先验分布: (3)计算后验分布: 二、怎样简化后验分布的计算 ——省略常数因子 在给定样本分布p(x|θ)和先验分布π(θ)后可用贝叶斯公式计算θ的后验分布：π(θ)= p(x|θ) π(θ)/m(x)，由于m(x)不依赖于θ，在计算θ的后验分布中仅起到一个正则化因子的作用。假如把m(x)省略，把贝叶斯公式改写成如下等价形式： 其中符号“ ”表示两边仅差一个常数因子，一个不依赖于θ的常数因子。上式右端称为后验分布 的核。 利用后验分布的核重新证明例1.6 例1.7 证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。 三、共轭先验分布的优缺点 共轭先验分布在很多场合被采用，因为它有 两个优点： （1）计算方便。 （2）后验分布的一些参数可得到很好的解释。 不足：怎样找到合适的先验分布？ 例1.8 例1.6中后验均值与后验方差的合理解释。 由例1.6知 其中 是用方差倒数组成的权，于是后验均值 是样本均值与先验均值 的加权平均。 而 可解释为：后验分布的精度是样本均 值分布的精度与先验分布精度之和，增加样本量n或减少先 验分布方差都有利于提高后验分布的精度。 例1.9 对例1.7中后验分布的均值和方差的解释。 分析：后验分布Be(α+x, β+n-x)的均值和方差可写为： 四、 常用的一些共轭先验分布 共轭先验分布选取的一般原则： 是由似然函数L(θ)=p(x|θ)中所含的因式所 决定的，即选与似然函数具有相同核的分布作 为先验分布。 例1.10 设 是来自正态分布 的 一个样本观测值，其中θ已知，求 方差的共 轭先验分布。 解题的基本思路： 写出样本的似然函数： 常用的一些共轭先验分布 §1.4 超参数及其确定 一、超参数的定义：先验分布中所含的未知参数称为超参数 二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法： 问题：二项分布中成功概率θ的共轭先验分布是贝塔分布Be(α,β)，怎样确定两个超参数α和β？ 1.利用先验矩： 2.利用先验分位数： 假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定α与β，譬如用两个上、下四分位数θU与θL来确定α与β，θU与θL分别满足如下二个方程： 从这两个方程解出α与β即可确定超参数。 3.利用先验矩和先验分位数 假如根据先验信息可获得先验均值 和p分位数 ，则可列出下列方程： 由此可解出α与β的估计值。 4.其它方法 §1.5 多参数模型 由以上几节内容可知，求某一个参数的后验分布的基本思想可概括为：先根据先验信息给出参数的先验分布，然后按贝叶斯公式算得后验分布，即： 但在很多实际问