第5‐3章MCMC.PDF

第5‐3章MCMC • 引言 • Monte Carlo 近似计算 • 伪随机数生成 • 理论基础 • MCMC算法 • MCMC应用 Buffon投针实验(1777) 设针与平行线的夹角为，针的中点与 L 最近的平行线的距离为X ，相交条件为: d Buffon实验 学者 年代 l/d 总次数 成功  的 次数 估计 Wolf 1850 0.8 5000 2532 3.15956 Smith 1855 0.6 3204 1218 3.1554 Fox 1884 0.75 1030 489 3.1595 Lazzarini 1907 0.833 3408 1808 3 Monte Carlo方法 • Von Neumann  • S.Ulam (1946) • N.Metropolis (1953) • Hasting (1970) • Monte Carlo (Monaco), famous for its  gambling casino. Monte Carlo 近似计算 • 例: 求 的近似值 • 考虑在单位方块上均匀分布的二元随机变 量 • 如果生成一组样本 • 其落在单位圆内的频率vn就是 的估计值 Monte Carlo 近似计算 • 利用 Chebechev 不等式, 立刻可以得到要保 证误差不超过一个给定值 的概率小于,  应把n 取多大 Monte Carlo 积分近似计算 • Monte Carlo方法计算积分 • 随机抽取p(x)的样本 • 积分近似 收敛性与收敛速度 • 大数定理 • 当 时， Confidence Interval • Sample variance • Convergence test With which the confidence interval can be given 积分计算的统计意义 • Bayesian分析中后验概率计算，通过极大后 验概率进行分类 • 缺失数据(Missing data) 中似然概率的计算 Importance Sampling • 若q(x)在p(x)非零点恒正，则 • 随机抽取q(x)的样本点 Importance Sampling • 它是无偏估计 • 收敛条件 Choice of q(x) • 方差 • 定理：当q(x)有如下表示时 上述方差最小 Choice of q(x) • 证明： • 第二项与q无关，而对第一项由Jensen不等 式( 函数x2 )， Choice of q(x) • 直接验证得：等号成立时q(x) Monte Carlo 近似计算 • 但是上面的分布密度函数q(.)含未知数c, 其 实它正是我们所要求的积分。所以上面的 最优Importance Sampling方法并不可行。 • 利用MCMC 算法可以不需要知道c的取值 而得到分布密度函数近似为g(.) 的样本。这 样，我们就可以实现前面所讲的Monte