贝叶斯讲义先验分布的确定详解.ppt

第三章 先验分布的确定 §3.1 主观概率 §3.2 利用先验信息确定先验分布 §3.3 利用边缘分布m(x)确定先验密度 §3.4 无信息先验分布 §3.5 多层先验 一、主观概率 1.贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。 2.经典统计确定概率的两种方法： （1）古典方法； （2）频率方法。 3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。 二、确定主观概率的方法 1.利用对立事件的比较确定主观概率(例3.1)； 2.利用专家意见确定主观概率(例3.2) ； 3.向多位专家咨询确定主观概率(例3.3) ； 4.充分利用历史资料，考虑现有信息加以修正,才能得到比较切合实际的主观概率(例3.4) 。 注意事项：（1）不管按照什么方法确定的主观概率必须满足概率的三条公理：①非负性公理：对任意事件A，0≤P(A)≤1。②正则性公理：必然事件的概率为1③可列可加性公理：对可列个互不相容的事件A1，A2，…，有（2）如果发现所确定的主观概率与上述三个公理及其推出的性质相悖，必须立即修正。直到两者一致为止。（例3.5） §3.2 利用先验信息确定先验分布 一、直方图法 二、选定先验密度函数形式再估计其超参数 三、定分度法与变分度法 一、直方图法 基本步骤： 1.把参数空间分成一些小区间； 2.在每个小区间上决定主观概率或依据历史数据确定其频率； 3.绘制频率直方图； 4.在直方图上作一条光滑曲线，此曲线即为先验分布?(?)。 例3.6 某药材店记录了吉林人参的每周销售量,现要寻求每周平均销售量θ的概率分布。 二、选定先验密度函数形式再估计其超参数 该方法的要点： （1）根据先验信息选定θ的先验密度函数π(θ)的形式，如选其共轭先验分布。 （2）当先验分布中含有未知参数（称为超 参数）时，譬如π(θ)= π(θ；α,β)， 给出超参数α,β的估计值 ， 使 π(θ； ， )最接近先验信息。 说明：如果有两个甚至多个先验分布都满足给定的先验信息，则要看情况选择：假如这两个先验分布差异不大，对后验分布影响也不大，则可任选一个；如果我们面临着两个差异极大的先验分布可供选择时，一定要根据实际情况慎重选择。 三、定分度法与变分度法 基本概念: (1)定分度法:把参数可能取值的区间逐次分为长度相等的小区间,每次在每个小区间上请专家给出主观概率. (2)变分度法:该法是把参数可能取值的区间逐次分为机会相等的两个小区间,这里的分点由专家确定. 例3.9(自学) §3.3 利用边缘分布m(x)确定先验密度 一、边缘分布m(x) 二、混合分布 三、先验选择的ML-II方法 四、先验选择的矩方法 一、边缘分布m(x) 设总体X的密度函数为p(x|θ),它含有未知参数θ ，若θ的先验分布选用形式已知的密度函数π(θ),则可算得X的边缘分布（即无条件分布）： 二、混合分布 (1)混合分布的概念：设随机变量X以概率π在总体F1 中取值，以概率1-π在总体F2中取值。若F(x|θ1)和 F(x|θ2)分别是这两个总体的分布函数，则X的分布 函数为：F(x)= πF(x |θ1)+(1-π)F(x|θ2) 或用密度函数（或概率密度）表示： p(x)= πp(x |θ1)+ (1-π)p(x|θ2) 这个分布F(x)称为F(x |θ1)和F(x|θ2)的混合分布。 这里的π和1-π可以看作一个新随机变量θ的分布， 即： P(θ=θ1)=π=π(θ1)， P(θ=θ2)=1-π=π(θ2) (2)混合样本的概念：从混合分布中抽出的样本称为混合样本。 注：①从混合分布F(x)中抽取一个样品x1，相当于如下的二次抽样： 第一次:从π(θ)中抽取一个样品θ。 第二次：若θ=θ1，则从F(x |θ1)中再抽一个样品，这个样品就是x1； 若θ=θ2，则从F(x |θ2)中再抽一个样品，这个样品就是x1 ②若从混合分布抽取一个容量为n的样本x1,x2,…,xn,则约有nπ(θ1)个来自F(x |θ1)，约有nπ(θ2)个来自F(x |θ2)。(3)实例分析: 三、先验选择的ML-Ⅱ方法 定义：设 为所考虑的先验类，且x=(x1,x2,…,xn)是来自Г中某一分布的样本，若存在 满足（对观测数据x）： 则 被称为Ⅱ型极大似然先验，或简称为ML-Ⅱ先验。 说明：这里将m(x)看成似然函数 四、先验选择的矩方法 在选择π∈Г时，可用矩方法代替极大似然方法。