第24章：模拟方法.PDFVIP

第24章：模拟方法 为什么需要Monte Carlo方法 Monte Carlo 方法 产生独立样本 • 基本方法：概率积分变换（第一部分已讲） • 接受—拒绝（舍选）采样 • 重要性采样 产生相关样本：Markov Chain Monte Carlo • Metropolis-Hastings算法 • Gibbs Sampler 1 MCMC ：Markov Chain Monte Carlo q(x) 重要性采样和接受—拒绝采样都只 与π(x ) 很相近似时才表现很好 在高维空间问题中，标准的采样方法会失败： 接受—拒绝采样：维数增高时，拒绝率100% 重要性采样：大多数的样本权重0 对高维复杂问题，用马尔科夫链（Markov Chain ）产生一些列相关样本，实现对分布的 采样 2 MCMC MCMC ：一种利用一定范围内的均匀分布的随机数， 对高维空间概率进行采样的通用技术。 基本思想：设计一个马尔科夫链，使得其稳定概率为 目标分布π(x ) 3 马尔科夫链：A Toy Example 假设一个孤岛上有5个家庭，他们的总财产为1。令状态 X 表示每年的财产分布，每个家庭与其它一些家庭发生贸 易，如家庭1将其收入的60%用于向家庭2购买物品… 问：经过一些年后，各家庭的财产情况？ 4 马尔可夫链 (Ω,μ ,P ) 0 状态空间 初始分布 转移核 P = ∑i p ij =1 5 稳定分布 lim μP n =π 0 n→∞ 稳定分布 6 MCMC 从任意的初始状态 开始，通过利用一个转 X 0 X 换核，产生一个各态历经的链 ，其稳定分布 t 为我们感兴趣的目标分布π(x ) 保证 的分布会收敛到来自分布 的随机变量 X π t 对一个足够大的 ， 可以认为是