马尔科夫链蒙特卡罗方法的应用.pptVIP

马尔科夫链蒙特卡罗方法的应用 理论 理论模型 软件介绍 实证分析 理论 马尔科夫链模拟 吉布斯抽样 贝叶斯推断 其他算法 孔文涛 回顾——马尔科夫过程 马尔科夫链模拟及MCMC方法 马尔科夫链模拟及MCMC方法 马尔科夫链模拟及MCMC方法 转移概率矩阵的定义。 定义：对于一个马尔可夫链 ，称由状态i经过m步转移到状态j的转移概率 为元素，组成的矩阵为转移概率矩阵， 用 表示。 当m=1时的转移概率矩阵为 ，就是一步转移概率矩阵，将其简记为 ，简称为转移矩阵。 马尔科夫链模拟及MCMC方法 考虑“缺失值”的问题。 Dempster，Laird和Rubin(1977)提出EM算法来解决数据分析时“缺失值”的问题。 M步：如果缺失值是可以得到的，能够利用完全数据分析的方法来建立一个波动率模型。 E步：给定可以利用的数据及拟合的模型，能够推导出缺失值的统计分布。 马尔科夫链模拟及MCMC方法 Tanner和Wong(1987)以两种方式扩展了EM算法。 首先：引进迭代模拟的思想——从条件分布中抽取一个随机数来代替缺失值。 第二：利用数据扩张的概念扩展了EM算法的应用——在研究的问题中加入一个辅助变量。 吉布斯抽样 Geman(1984)、Gelfand和Smith(1990)提出的MCMC方法。 通过一个三个参数的简单问题来引进吉布斯抽样的思想。 吉布斯抽样 吉布斯抽样 吉布斯抽样 对一个充分大的m， 渐近等价于来自三个参数的联合分布 的一个随机抽取。 实际中，我们利用一个充分大的n，并且丢掉吉布斯迭代的前m个随机抽取，建立一个吉布斯样本，即 因为前面的迭代从联合分布 中建立了一个随机样本，所以可以利用它们来作出统计推断。 吉布斯抽样 吉布斯抽样具有将一个高维的估计问题利用所有参数的条件分布分解为几个较低维数问题的优点。 N个参数的高维问题转化为N个1维的条件分布迭代地解决。 当参数高度相关时，联合地抽取。 吉布斯抽样 收敛性问题 理论：仅仅指出当迭代次数m充分大时收敛发生，没有对m的选择提供具体的指导。有多种检验吉布斯样本收敛性的方法，但没有哪种方法最好的一致结论。 实际：并不能保证对所有的应用都是收敛的。必须仔细地执行，以保证没有明显的对收敛性要求的违背。 贝叶斯推断——后验分布 条件后验分布：在数据、其它参数和一定模型给定的条件下参数的分布。 贝叶斯推断是将先验的思想和数据结合，得到后验分布，然后基于后验分布进行统计推断。 贝叶斯分析寻求将关于参数的知识与数据相结合来作出推断，参数的知识是通过对参数预先指定一个先验分布表示的，记为 。 贝叶斯推断——后验分布 贝叶斯推断——共轭先验分布 由方程(2)得到的后验分布一般不是简单的，但也有先验分布与后验分布属于同样的分布族的情形，这样一个先验分布称为共轭先验分布。 对MCMC方法，共轭先验的使用可以得到条件后验分布的一个显示解，然后可以利用通常的概率分布的计算机程序得到吉布斯样本的随机抽取。 其他算法——Metropolis算法 条件后验分布没有显示解。 假定我们希望从分布 中抽取一个随机样本，它包含一个负杂的标准化常数，直接的抽取要么太浪费时间，要么不可行。但是存在一个近似的分布，可以很容易地得到随机抽取。 Metropolis算法就是从近似分布中产生一系列的随机抽取，使得它们的分布函数收敛到 。 其他算法——Metropolis算法 具体算法如下进行： 其他算法——Metropolis算法 其他算法——Metropolis-Hasting算法 其他算法——格子吉布斯算法 在金融应用中，ARMA或者波动率等模型可能包含一些非线性参数，而这些参数的条件后验分布没有显示表示，执行吉布斯抽样或者Metropolis-Hasting算法可能会变得复杂。 Tanner(1996)描述了当条件后验分布是1元时，在吉布斯抽样中得到随机抽取的一个简单程序，这个方法称为格子吉布斯抽样(Griddy Gibbs)。 其他算法——格子吉布斯算法 研究动态——马尔科夫链及MCMC方法 马尔科夫是享誉世界的著名数学家，社会学家。他研究的范围很广，对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。马尔科夫最重要的工作是在1906一1912年间，他提出并研究了一种能用数学分析方法研究自然过程的一般图式，后人把这