贝叶斯统计 ch1 先验分布与后验分布.pptVIP

* 解题的基本思路： 写出样本的似然函数： 么分布具有这种形式的核呢？ * * * 常用的一些共轭先验分布 总体分布 参数 共轭先验分布 后验分布的期望 正态分布 均值 正态分布 正态分布 方差 倒Γ分布IGa(a,b) 二项分布 成功 概率 β分布 Poisson分布 均值 Γ分布Ga(a,b) 指数分布 均值的倒数 Γ分布Ga(a,b) * §1.4 超参数及其确定 一、超参数的定义：先验分布中所含的未知参数称为超参数 二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法： 问题：二项分布中成功概率θ的共轭先验分布是贝塔分布Be(α,β)，怎样确定两个超参数α和β？ * 1.利用先验矩： * 2.利用先验分位数： 假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定α与β，譬如用两个上、下四分位数θU与θL来确定α与β，θU与θL分别满足如下二个方程： 从这两个方程解出α与β即可确定超参数。 * 3.利用先验矩和先验分位数 假如根据先验信息可获得先验均值 和p分位数 ，则可列出下列方程： 由此可解出α与β的估计值。 4.其它方法 * §1.5 多参数模型 由以上几节内容可知，求某一个参数的后验分布的基本思想可概括为：先根据先验信息给出参数的先验分布，然后按贝叶斯公式算得后验分布，即： 但在很多实际问题中却包含有多个未知参数的情形，如正态分布、多项分布以及多元正态分布等，此时可采用与单参数相似的方法来求参数的后验分布，而把其它的参数看成是讨厌参数。 * 例1.12 试求正态均值与正态方差的（联合） 共轭先验分布及后验分布。（P24） 1.取先验分布为 的情形 2.关于指数分布族的若干结论 3.取先验分布为共轭先验分布的情形 * 1.取先验分布为 的情形 * * back * 3.取先验分布为共轭先验分布的情形 (1)求 的共轭先验密度 (2)求 的后验边际密度 (3)求给定 后 的条件后验密度函数 例题 * 例 有一实验站关于生长小麦的经验为每块样地的均值 和标准差分别为100及10的正态分布，现在他们研究施加激 素的影响。在12块地施加激素后所得产量如下(单位：千克)： 141,102,73,171,137,91,81,157,146,69,121,134 关于方差的信息是均值、标准差分别约为300及160； 关于均值的信息是均值约为110，约为15即相当于观测了 15个观测值。 求: (1) 的共轭先验； (2) 的后验密度函数； (3) 的边际后验； (4) 对 已知情况下的条件后验密度函数。 back * §1.6 充分统计量 一、经典统计中充分统计量的回顾 充分性是数理统计中最重要的概念之一，也是数理统计这 一学科特有的基本概念之一。它是Fisher在1925年提出的。 充分性的直观定义：不损失信息的统计量。 引例：研究某个运动员的打靶命中率θ，我们对该运动员进行10次测试，发现除第三、六次没有命中外，其余8次都命中，这样的结果包含了哪些信息？ （1）打靶10次命中8次； （2）2次不命中分别出现在第3次和第6次打靶上。 概率分析： * 定义：设 是来自分布函数F(x|θ)的一个样本， T=T(x)是统计量，假如在给定T(x)=t的条件下，x的条件分布与θ 无关的话，则称该统计量为θ的充分统计量。 充分统计量的一个重要特性：当得到充分统计量T的某个取 值t之后，而失去原样本的观察值也没有关系。因为我们可以根 据上述的条件分布来构造某个随机试验，从中获得来自总体的 一个新样本，这个新样本虽不能完全恢复老样本的原状，但它 与老样本所含的有关参数θ的信息是一样的。 例题1 设总体为二点分布b(1, θ)， 为样本，令 求在给定T的取值后，X的条件分布。 * 因子分解定理：一个统计量T(x)对参数θ是充分的充要条件是：存在一个t与θ的函数g(t,θ)和一个样本x的函数h(x)，使得对任一样本x和任意θ，样本的联合密度p(x|θ)可表示为它们的乘