应用于微博的LDA模型改进.docVIP

  应用于微博的 LDA 模型改进 亓晓青，景晓军** （北京邮电大学信息与通信工程学院，北京 100876） 5 10 15 20 25 30 35 40 摘要：针对微博短文本高维稀疏的特点，主题模型被广泛研究用于微博文本聚类。作者主题 模型（ATM）作为对热门主题模型 LDA 的有效拓展也用于微博文本挖掘。然而应用于微博 文本挖掘，ATM 具有两个缺点，其一是一篇文档中的单词只能由一个作者产生，其二是没 有考虑到微博这种文本形式具有的内在结构信息。针对以上两点，对 ATM 模型进行改进， 提出了新的改进算法——用户与关联扩展 LDA（ULLDA）。并在 NLPIR 数据集上进行了 验证，证实改进模型能有效地运用于微博文本挖掘，性能较 ATM 有所改进。 关键词：数据挖掘；潜在狄利克雷分布模型（LDA）；吉布斯抽样 中图分类号：TP391.1 The Improvement of LDA Applying in Microblog QI Xiaoqing, JING Xiaojun (School of Information and Communication Engineering,Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: Aiming at sparse high-dimension problem of microblog, topic model is widely researched in text clustering of microblog. Author Topic Model(ATM) , which is an effective extending of Latent Dirichlet Allocation(LDA), is also used to the same purpose. However, there are two disadvantages while ATM is used. The one is that all the words in an article are generated by only one author, the other one is that ATM doesnt take into account of the inside structure information of microblog. To solve these two problems, an improvement on ATM is presented, and the new model is called ULLDA. The proving is given based on the dataset of NLPIR, proving that ULLDA is useful for the text clustering of microblog and it can improve the performance of ATM. Keywords: Data Mining; Latent Dirichlet Allocation; Gibbs Samping 0 引言 微博作为新兴起的一种互联网社交网络服务，以其快速便捷的特性风靡全球。微博基于 用户之间的关联关系，构筑了一个信息传播和分享的平台。 每条微博可以被认为是一个文本片段，但是通常只有一句话。对于这种短文本数据，传 统使用词作为特征来表示文本的方法，会由于同一个词出现在两篇不同短文本中的概率过 小，而无法度量它们之间的相似度。因此主题模型(Topic Model)非常适合被应用到微博短文 本聚类中。 主题模型可以自动提取隐含在文档集中的主题，并按照词的分布形式直观地表达主题， 是无监督分析文档和预测新文档方便的工具。 LDA（Latent Dirichlet Allocation）[1][2]——潜在狄利克雷分配，是主题模型的一种。由 于其参数简单，不产生过度拟合现象，逐渐成为主题模型的研究热点。 传统的 LDA 没有考虑到发表微博的用户，实际上把所有用户看作完全等同的。近几年 出现的 Author Topic Model[3]（以下简称 ATM）是对 LDA 的一种改进，是从作者的角度来 考虑文档中主题的生成。对于每个作者，对应于一个主题上的分布，同时传统 LDA 中的文 档主题分布随之消失，被作者主题的分布所取代。 作者简介：亓晓青，（1988-），男，硕士研究生，主要研究方向：数据挖据。 通信联系人：景晓军，1965-），男，教授，博士生导师，主要研究方向：图像处理。E-mail