概率图模型的消除算法.docVIP

精品论文 参考文献 概率图模型的消除算法 陆希晨 许成 青岛大学数学与统计学院 山东 青岛 266071 摘要：本文主要围绕着概率图模型的可压缩性进行研究，运用了消除算法对图模型中的最大后验问题及边际问题进行了优化，从而对图模型的可压缩性及消除算法有了更深入的认识。 关键词： 图模型；可压缩性；消除算法 概率图模型是图论与概率论相结合的新兴学科，图模型能够用图的方式清晰主观的展现一个问题的影响因素及变量之间的关系，近些年图模型被越来越多应用于复杂的系统研究中，并广泛地应用于机器学习、因果推断、人工智能等领域。可压缩性方法是图模型中的一个重要方法，通过对原图模型进行压缩，可以在较小的模型中进行分析和估计，能够提高估计的精度，降低影响因素。消除算法是可压缩算法的一种。它通过消除一些影响变量，降低图模型的维度，是本文重点关注的。 1基本概念 本节给出一些基本概念作为预备知识，用到的其他术语及符号见文献[1]-[3]。对于和两个随机变量，以及的他们联合概率分布.我们得到其中的一个变量,我们想要推断出剩下的全部变量.为此,我们计算条件概率分布,用它来获得的估计.因此我们设计了一种误差估计: 我们可以从第二个等号可以看出来，要减少这个误差概率，其实就是一个就是一个最大化的问题，我们将其称为最大后验问题(MAP) 其中的计算问题对于所有给定条件b,我们称为边际问题(MARG),当随机变量增加时，计算一个边际问题将变得非常困难，因为这涉及到一个指数的组合计算，对于最大后验问题，范诺不等式提供给我们一个信息理论去获得关于a的信息 其中 虽然这些问题计算起来都十分困难。但我们可以设计一些有效算法来解决这些问题。 2图模型的消除算法 最大后验问题和边际问题通过上面的描述可以得知：当变量的大小、数量变得复杂的话，那么我们要解决的问题也会变得棘手。但当处理图模型们,人们可以利用特定结构的图模型来减少必须考虑的变量的数目。直观地说,图模型中变量的连接越少,这个问题的复杂程度就会越小。我们将正式通???引入消除算法,在一个给定的图模型中，这是一种系统化的方法来减少变量复杂性的方法。 我们下图中看到的图模型是不完全连接的，每一个彩色的部分是一个极大团。 消除这种过程，计算边际价值所需的步骤是，而并非，通过图模型的结构，我们可以大大降低问题的复杂性，相同地我们可以做出最大后验问题消除过程： 参考文献： [1] D. Koller and N. Friedman. Probabilistic Graphical Models: Principles and Techniques Adaptive Computation and Machine Learning,The MIT Press, 2009(493):380 [2]C. K. Chow and C. N. Liu. Approximating discrete probability distributions with dependence trees. Information Theory, IEEE Transactions on,14(3):462-487,1968. [3]A. P. Dempster, N. M. Laird, and D. Rubin. Maximum likelihood from incomplete data via the em algorithm. Journal of the Royal Statistical Society,Series B,39(1):1-38, 1977. [4]张连文, 郭海鹏. 贝叶斯网引论, 科学出版社[M]，2006 作者简介：陆希晨，男，硕士研究生，主要研究方向：最优化理论与方法；通讯作者：许成，博士，教授，硕士研究生导师。主要从事运筹学、图论。