自然语言处理中主题模型的发展.pdfVIP

第卷第期 计 算 机 学 报 ３４ ８ 　 　　　　　　　　 Ｖｏｌ．３４Ｎｏ．８ 年月 ２０１１８ Ａｕ．２０１１ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ ｇ 　 自然语言处理中主题模型的发展 徐戈 王厚峰 　　　 （北京大学计算语言学研究所，北京大学计算语言学教育部重点实验室北京 ） １００８７１ 　 　 摘要主题模型在自然语言处理领域受到了越来越多的关注在该领域中，主题可以看成是词项的概率分布主 ． ． 　　 题模型通过词项在文档级的共现信息抽取出语义相关的主题集合，并能够将词项空间中的文档变换到主题空间， 得到文档在低维空间中的表达作者从主题模型的起源隐性语义索引出发对概率隐性语义索引以及 等在主 ． ， ＬＤＡ ， 题模型发展中的重要阶段性工作进行了介绍和分析着重描述这些工作之间的关联性 作为一个概率生成模 ．ＬＤＡ 型，很容易被扩展成其它形式的概率模型作者对由 派生出的各种模型作了粗略分类，并选择了各类的代 ． ＬＤＡ 表性模型简单介绍主题模型中最重要的两组参数分别是各主题下的词项概率分布和各文档的主题概率分布， ． ， 作者对期望最大化算法在主题模型参数估计中的使用进行了分析这有助于更深刻理解主题模型发展中各项工 作的联系． 关键词 ； ； ； ； ； 自然语言处理主题模型隐性语义索引 期望最大化算法 采样 ＬＤＡ Ｇｉｂｂｓ 　 中图法分类号 号： ／ ＴＰ３９１ 犇犗犐１０．３７２４ＳＰ．Ｊ．１０１６．２０１１．０１４２３ 　　　 犜犺犲犇犲狏犲犾狅犿犲狀狋狅犳犜狅犻犮犕狅犱犲犾狊犻狀犖犪狋狌狉犪犾犔犪狀狌犪犲犘狉狅犮犲狊狊犻狀 狆 狆 犵犵 犵 ＸＵＧｅＷＡＮＧＨｏｕＦｅｎ 　 ｇ （ （ ）， 犓犲犔犪犫狅狉犪狋狅狉狅犆狅犿狌狋犪狋犻狅狀犪犾犔犻狀狌犻狊狋犻犮狊狅犕