多模型贝叶斯平均法及MCMC.ppt

多模型问题的贝叶斯模型平均 组合预测法 预测方法 单一模型预测方法：灰色预测模型 多元统计 BP神经网络法等。 多模型预测方法：加权平均法 最优模型修正 最小方差法等 贝叶斯模型平均组合预测 贝叶斯模型平均组合预测克服了其他预测模型的以下缺点： 第一，未考虑主观先验信息。 第二，没有充分提取各预测方法正确的预测信息。 第三，没有考虑模型的不确定因素。 贝叶斯模型平均组合预测的关键是计算后验概率，计算后验概率的关键是计算边际似然，边际似然是一个高维、复杂的积分。目前比较好的方法是马尔科夫蒙特卡洛法。 优点：1、当用不同的条件概率分布时，不需要改变运算法则。2、全面考虑了贝叶斯模型平均的权重和方差的后验概率。 贝叶斯模型平均法（BMA） 基本表述 其中 为BMA法对系统响应的组合预测值； 最后一项是各单一模型 Mk 的预测值，t为变量； Pr(Mk|D) 为给定数据D下模型的后验概率。 BMA法的实质：以各模型的后验概率为权重，对单一模型的预测值进行加权平均得到贝叶斯模型平均值 。 蒙特卡洛算法 蒙特卡洛算法基本思想：当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并将其作为问题的解。 步骤：（1）构造或描述概率过程 （2）实现从已知概率分布抽样 （3）建立各种估计量 马尔科夫链简介 马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。 马尔可夫性质： MCMC简介 MCMC方法是使用马尔科夫链的蒙特卡洛积分，其基本思想是：构造一条Markov链，使其平稳分布为待估参数的后验分布，通过这条马尔科夫链产生后验分布的样本，并基于马尔科夫链达到平稳分布时的样本（有效样本）进行蒙特卡洛积分。 （1）构造Markov链，使其收敛到平稳分布π（x）。 （2）产生样本：由空间中某一点出发，用（1）的Markov链进行抽样模拟，产生点序列：x1,...,xn. （3）蒙特卡洛积分。 马尔科夫链及其平稳分布 我们先来看马氏链的一个具体的例子。社会学家经常把人按其经济状况分成3类：下层(lower-class)、中层(middle-class)、上层(upper-class)，我们用1,2,3 分别代表这三个阶层。社会学家们发现决定一个人的收入阶层的最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别，那么他的孩子属于下层收入的概率是 0.65, 属于中层收入的概率是 0.28, 属于上层收入的概率是 0.07。事实上，从父代到子代，收入阶层的变化的转移概率如下 计算结果 马氏链的收敛 我们发现，两次给定不同的初始概率分布，最终都收敛到概率分布 π=[0.286,0.489,0.225]，也就是说收敛的行为和初始概率分布 π0 无关。这说明这个收敛行为主要是由概率转移矩阵P决定的。我们计算一下 P^n P^20=P^21=?=P^n= 我们发现，当 n 足够大的时候，这个P^n矩阵的每一行都是稳定地收敛到π=[0.286,0.489,0.225] 这个概率分布。自然的，这个收敛现象并非是我们这个马氏链独有的，而是绝大多数马氏链的共同行为。 马氏链定理 马氏链定理： 如果一个非周期马氏链具有转移概率矩阵P,且它的任何两个状态是连通的，那么 存在且与i无关，记 =π(j),我们有 其中π称为马氏链的平稳分布。 Metropolis-Hastings算法 细致平稳条件：非周期马氏链的转移矩阵P和分布π(x) 满足 π(i)*Pij=π(j)*Pji (for all i,j) 细致平稳条件的物理含义就是对于任何两个状态i,j, 从 i转