贝叶斯统计学1-精选版.pptVIP

1.4 超参数及其确定 1.超参数的定义。 2.超参数的确定方法。 1）利用先验矩；2）利用先验分位数； 3）利用先验矩和分为数结合； 4）其他方法。 * 1.超参数的定义 先验分布中所含有的未知 参数称为超参数 * 2.利用先验矩确定超参数 其基本方法是先用实际数据估计先验分布的各阶矩，例如在已知 利用这些数据可计算一阶原点矩和二阶中心矩： ， * 令各阶实际计算的经验矩与先验分布的理论上的同阶矩相等构成方程（或方程组）。 解方程即可求得各超参数。如以贝塔分布Be（α，β）为例有： * 解方程得： * 例：设 是来自指数分布Exp(λ)的样本指数分布的密度函数为（1）验证伽玛分布Ga(α，β)是参数λ 的共轭先验分布。（2）若从先验信息得知，先验均值为0.0002,先验标准差0.0001,请确定其超参数。 * 解（1）对于参数λ的共轭先验分布问题前面已经验证，在此不重述。（2）由题意知，又伽玛分布的均值和方差分别为所以有方程： * 解得： * 2.利用先验分位数 假定通过先验信息可以确定先验分布的两个分位数 ，则从理论上讲可以利用这两个分位数来确定超参数。 仍以贝塔分布Be（α，β）为例来说明有 解之便可得超参数。 * 3.利用先验分位数和先验矩 根据有关的先验信息假定获取先验均值（或先验方差等）和p分位数 则从理论上讲，可同时利用先验矩和p分位数，来确定超参数。 仍以贝塔分布为例有 * 4.其他方法 其他方法主要是利用所获的的不全面的先验信息进行分析的方法。 原则是：在不知到其他信息的条件下，超参数的确定应该使得先验分布的方差较小。即在 的条件下，确定α和β，使得方差var(θ)较小。 * 1.5多参数模型 在统计学中实际上很多实际问题都含有多个未知参数，如正态分布可能有两个未知参数，二项分布也可能有两个参数等。 这类问题应该来说在实际工作中是普遍存在的现象。处理这类问题其原理本质上与单参数问题是一致的。 * * * * * * * * 例 验血可以帮助判断一个人是否有某种疾病，化验结果或者为阳性（x =1表示），或者为阴性（以x＝0表示）。令θ1表示状态“有病”，θ2表示状态“无病”。又知p(x=1/θ1)=0.8，p(x=0/θ1)=0.2，p(x=1/θ2)＝0.3，p(x=0/θ2)＝0.7。又设有先验分布（信息）π（θ1）＝0.05，π（θ2）＝0.95，求后验分布，并体验样本调整先验分布为后验分布的过程。 * 解：为了计算后验分布（概率）先计算边缘分布：(将f都应换成p) m(1)=p(1/θ1) π（θ1）＋p(1/θ2) π（θ2）=0.04+0.285=0.325 * 例1．6 伊索寓言“孩子与狼”讲的是一个小孩每天到山上放羊，山里有狼出没，第一天他在山上喊：“狼来了!狼来了!”山下的村民们闻声便去打狼，可到了山上，发现狼没有来；第二天仍是如此；第三天，狼真的来了，可无论小孩怎么喊叫，也没有人来救他，因为前二次他说了谎话，人们不再相信他了。用贝叶斯统计来分析这个寓言中村民的心理活动。 * 解：为此先要作一些假设。首先假设村民们对这个小孩的印象一般，他爱说谎话(记为θ1)和爱说真话(记为θ2)的概率相同，即设 π（θ1）＝1/2 π（θ2）＝1/2 ? 另外再假设：爱说谎话的孩子喊狼来了(记为x1)时，狼来的概率为1／3，爱说真话的孩子喊狼来了时，狼来的概率为3／4，相应地狼没有来（记为x2），所以有 p(x1/θ1)=1/3 p(x1/θ2)=3/4 p(x2/θ1)=2/3 p(x2/θ2)=1/4 当第一次村民上山打狼，发现狼没有来(x2发生了)时，村民们对说谎话小孩的认识集中体现在条件概率π(θ1/ x2)上，根据上述假设，利用贝叶斯公式不难算得 * 类似地，可以计算得π(θ2/ x2)＝0.2727，这表明村民们对这个小孩说谎的概率由0.5调整到0.7273，若我们进一步将调整后的概率看作先验分布，即记 π（θ1）＝0.7273=8/11 π（θ2）＝0.2727=3/11 在此基础上，村民第二次上山打狼，仍没有看见狼，这时村民再一次调整对这个小孩说谎的认识，即再一次计算后验概率 这表明：村民们经过两次上当，对这个小孩说谎话的概率从0.5上升到0.8767，即十句话中有近九句话在说谎，给村民留下这种印象，他们听到第三次呼叫时怎么再会上山打狼呢?从这里我们可以体会先验分布是怎