基于LDA模型的文檔生成算法.docxVIP

基于LDA模型的文档生成算法 2014年12月 2 基于LDA模型的文档生成算法 2014年12月 3 基于LDA模型的文档生成算法 2014年12月 1 基于LDA模型的文档生成算法 李晨 （西安电子科技大学 电子工程学院， 陕西 西安 710071） 摘要 :本文包含两部分内容，一部分是我们对LDA模型的理解，LDA模型的核心是对参数的估计，而估计过程用到了EM，variational inference 等方法对进行逼近，最后收敛得出学习结果。另一部分是在此基础上所做的文档生成模型，这个生成模型的核心是对参数的采样，我们利用Dirichlet分布与Gamma分布的关系先产生k个相互独立的服从Gamma分布的随机数，再利用=得出服从Dirichlet分布的，最后利用函数对各个主题和单词进行采样，最终得出几篇文档，经分析，生成的文档具有一定的意义。 关键词：LDA模型 文档 EM算法 Document generation algorithm based on LDA model Chen Li ( School of Electronic Engineering, Xidian Univ., Xi’an 710071, China; School of Electronic Engineering, Xidian Univ., Xi’an 710071, China; School of Electronic Engineering, Xidian Univ., Xi’an 710071, China ) Abstract: Along with our country automobile industry and the development of the highway, greatly promoted the meridian tyre market demand, so that the radial tyre development rapidly. The paper mainly introduces the characteristics of the radial tyre development status and trend, at the same time puts forward the development of china’s automobile radial tyre industry a piece of advice. Keywords: LDA Style Doc EM maths １ 引言 LDA模型(Latent Dirichlet Allocation)是文本建模的一种方法，属于概率生成模型。LDA模型是由David M.Blei 和 Michael I.Jordan 等人在2003年提出的【1】。这个模型的提出是为了解决一些文档处理领域的问题，比如文章主题分类、文章检测、相似度分析、文本分段和文档检索等问题【2】。 目前针对LDA扩展的研究工作非常多。其中有对参数的扩展，比如Blei等人在2004年和2006年又相继提出树结构的层级LDA和相关主题模型(CTM)，使得模型更接近数据的真实情况。还有面向特定任务的LDA模型，涉及分类、作者主题模型、词义消歧、引用链接分析、人名消歧、情感分析等更细化的任务【2】。 在LDA模型中，由于涉及到概率的生成，所以当对分布函数的参数进行估计的时候，就需要使用到EM算法。EM算法(Expectation－Maximization Algorithm)是由Dempster等人于1977年提出，是一种用于对具有隐变量的概率模型进行极大似然估计的算法。该算法在自然语言处理方面已经有广泛的运用，常见的诸如隐马尔科夫模型、高斯混合模型、k-均值算法、主成分分析等都可以用EM算法的思想来解释【2】。例如在LDA模型中，主题和单词的联合分布的似然函数的表达式无法写出来，但是可以用隐性变量表示出来，这时就可以使用ＥＭ算法来估计似然函数的参数。所谓隐性变量，说的是LDA的预测目标——主题分布，是训练集中不能直接观察到的量，是