毕业设计-mcmc - markov chain monte carlo随机模拟算法及 matlab编程实现.pptVIP

Markov chain Monte Carlo随机模拟算法及Matlab编程实现 班级： 汇报人： 内容概述 一、课题简介 二、已完成的工作 三、未完成的工作 课题简介 课题简介 课题简介 问题转化为： 如何抽取服从目标分布p(z)的样本 常用方法：基本抽样方法 马尔科夫链蒙特卡洛方法 已完成的工作 直接抽样法 连续型的直接抽样法 离散型直接抽样法 离散型直接抽样法 舍选抽样法（ rejection sampling ） 简单的舍选抽样法 改进的舍选抽样法 改进的舍选抽样法 重点抽样法（ importance sampling ） 重点抽样法 马尔科夫链蒙特卡洛方法（ MCMC ） MH算法 MH算法 MH算法 下一步计划 对MH算法选取实例进行编程实现 研究Gibbs算法并进行编程实现 撰写论文 完善以前工作的细节 * * 指导老师： 计算积分： 变换为： 积分近似为： 视为期望E[f(z)]，通过抽样z(1）,…，z(m） 进行近似 一般地，计算Mote Carlo积分： 计算困难！ z(m)是服从分布p(z)的样本 返回 基本抽样方法： 直接抽样法 舍选抽样法 重点抽样法 马尔科夫链蒙特卡洛方法： Metropolis Hastings（MH）算法 设y=F(x)为随机变量x的累积分布函数 随机抽取y，然后通过求F(x)的反函数 F-1(y)得到随机变量x的值 随机变量y在区间[0,1]上均匀分布? 利用[0,1]区间上均匀分布随机数产生器抽取 基本思想： 方法： P?(0,1): [0,1]区间上均匀分布的随机数 1.产生在[0,1]区间上均匀分布的随机数? = P?(0,1)； 2.令F(x) = ?, 解方程得x： 注意：要知道概率分布函数表达式，且其反函数存在！ 设离散型随机变量X的可能取值为x1, x2, …, xN, 其概率为 累积分布函数： 0 x1 xN-1 xN p1 p2 pN pk xk-1 xk 0 x1 xN x xk xk+1 1 F(x) 方法： ? 返回 0 x1 xN x xk-1 xk 1 F(x) 计算yk = yk-1 + pk，k = 1,2,3,…,N, y0= 0 产生在[0,1]区间上均匀分布的随机数? = P?(0,1) ； 求满足yk-1 ? yk 的k值; 随机变量的第k个取值即为欲抽取的值。 xk为欲抽取值 直接抽样法的困难： 许多随机变量的累积分布函数无法用解析函数给出; 有些随机变量的累积分布函数的反函数不存在或难以求出； 即使反函数存在，但计算困难 舍选抽样法： 按一定的舍选规则抽取随机变量x的一个随机序列xi, i=1,2,…, 使其满足给定的概率分布. 设随机变量x的取值区间为x?[a,b], 概率密度函数f(x) ?[0，c] 舍选法抽样步骤： 产生[a, b]区间内均匀分布的随机数x: x = (b-a)r1+a, r1 ?U[0, 1]; 产生[0,c]区间内均匀分布的随机数y: y = cr2, r2 ?U[0,1]; 当y ? f(x)时，接受x为所需的随机数，否则，返回到第一步重新抽取一对(x,y). 简单舍选抽样法的问题： 如果f(x)曲线下的面积占矩形面积的比例很小，则抽样效率很低，这是因为随机数x和y是在区间[a, b]和[0, c]内均匀分布，所产生的大部分投点不会落在f(x)曲线下 x c f(x) 改进方法： 构造一个新的概率密度函数g(x)，使它的形状接近f(x), 且有 式中Cg为常数，而g(x)的抽样相对比较容易。 Cgg(x) 抽样方法： 1. 产生两个随机数 产生分布为g(x) 的随机数x ，x?[a,b]; 产生[0, Cgg(x)] 区间上均匀分布的随机数y，y= Cgg (x) ?, ??U[0,1]. 2. 接收或舍弃取样值 x. 如果 y f(x)，舍弃，返回到1,重复上述过程; 否则，接受; 注意：常数Cg的选取 常数Cg应尽可能地小,因为抽样效率与Cg成反比; Cg=max{f(x)/g(x)}, x ?[a,b] 返回 直接抽样法或舍选抽样法： 利用某些抽样规则，抽取样本服从目标分布，进一步估计期望 重点抽样法： 从建议分布q(x)中抽样，估计期望值 基本原理： 计算期望 变换积分表达式，将从p(z)中抽样转化为从建议分布q(z)中抽样，估计期望值 返回 p(x)p(x’|x)=p(x’)p(x|x’) P(x)为平稳分布 基本思想： 构造一条马尔科夫链，使其平稳分布为目标分布，通过这条马尔科夫链产生服从目标分布的样本 Metropolis Hastin