应用于微博的LDA模型改进.docVIP

第32卷第X期 亓晓青等：应用于微博的LDA模型改进 应用于微博的LDA模型改进 摘要：针对微博短文本高维稀疏的特点，主题模型被广泛研究用于微博文本聚类。作者主题模型（ATM）作为对热门主题模型LDA的有效拓展也用于微博文本挖掘。然而应用于微博文本挖掘，ATM具有两个缺点，其一是一篇文档中的单词只能由一个作者产生，其二是没有考虑到微博这种文本形式具有的内在结构信息。针对以上两点，本文提出了新的改进算法——用户与关联扩展LDA（ULLDA）。该lwqxq@方法根据微博的特点对ATM进行改进，并在NLPIR数据集上进行了验证，实验结果表明改进模型能有效地运用于微博文本挖掘，性能较ATM有所改进。 关键词：数据挖掘；潜在狄利克雷分布模型（LDA）；吉布斯抽样 The Improvement of LDA Applying in Microblog Abstract: Aiming at sparse high-dimension problem of microblog, topic model is widely researched in text clustering of microblog. Author Topic Model (ATM) , which is an effective extending of Latent Dirichlet Allocation(LDA), is also used to the same purpose. However, there are two disadvantages while ATM is used. The one is that all the words in an article are generated by only one author, the other one is that ATM doesnt take into account of the inside structure information of microblog. To solve these two problems, an improvement on ATM is presented, and the new model is called ULLDA. The proving is given based on the dataset of NLPIR, proving that ULLDA is useful for the text clustering of microblog and it can improve the performance of ATM. Key words: data mining; latent dirichlet allocation; gibbs samping  引言 微博作为新兴起的一种互联网社交网络服务，以其快速便捷的特性风靡全球。微博基于用户之间的关联关系，构筑了一个信息传播和分享的平台。 每条微博可以被认为是一个文本片段，但是通常只有一句话。对于这种短文本数据，传统使用词作为特征来表示文本的方法，会由于同一个词出现在两篇不同短文本中的概率过小，而无法度量它们之间的相似度。因此主题模型(Topic Model)非常适合被应用到微博短文本聚类中。 主题模型可以自动提取隐含在文档集中的主题，并按照词的分布形式直观地表达主题，是无监督分析文档和预测新文档方便的工具。 LDA（Latent Dirichlet Allocation）[1][2]——潜在狄利克雷分配，是主题模型的一种。由于其参数简单，不产生过度拟合现象，逐渐成为主题模型的研究热点。. 传统的LDA没有考虑到发表微博的用户，实际上把所有用户看作完全等同的。近几年出现的Author Topic Model[3]（以下简称ATM）是对LDA的一种改进，是从作者的角度来考虑文档中主题的生成。对于每个作者，对应于一个主题上的分布，同时传统LDA中的文档-主题分布随之消失，被作者-主题的分布所取代。 然而ATM仍然存在一些缺陷，比如一篇文档中的一个单词只能属于一个微博用户，这是不合理的；另外没有考虑到微博这种短文本形式的结构信息。 本文研究的主要目的是结合微博的具体情况，对ATM进行改进扩展，综合考虑微博的用户信息和文本关联关系，提出一种新的改进型LDA算法——用户与关联扩展LDA，简写为ULLDA。 主题模型 潜在狄利克