一种基于动态词汇表的在线LDA算法.PDFVIP

Vo 1. 43 No. 12 第 43 卷第12 期 计算机科学 2016 年 12 月 Computer Science Dec 2016 一种基于动态词汇表的在线 LDA 算法 张健伟严建峰刘晓升杨璐 (苏州大学计算机科学与技术学院 苏州 215006) 摘 要 目前的在线潜在狄利克雷分布模型(LDA)算法大多是基于固定的词汇表，在实际应用中经常会出现词汇表 和处理的语料不匹配的情况，影响了模型的实用性。针对这个现象，在置信传播算法CB凹的框架下，使主题羊词分布 服从狄利克雷过程，重新推导公式，使得词汇表在模型运行之前为空，并且在处理时不断向词汇表中增加发现的新词。 实验证明，这种新的基于动态词汇表的算法不仅使得词汇表与语料的贴合度更高，而且使其在混淆度以及互信息指数 这两个指标上能够比基于固定词汇表的 LDA模型表现得更加优越。 关键词 潜在狄利克雷分配，动态词汇表，狄利克雷过程，流处理 中固法分类号 TP391 文献标识码 A DOI 10. 11896/j. issn. 1002-137)♀ 2016.12.021 Online LDA on Dynamic Vocabula叮 ZHANG Jian-wei YAN Jian-feng LIU Xiacγsheng YANG Lu (School of Computer Science and Technology ,Soochow University ,Suzhou 215006 ,China) Abstract Most of the online LDA algorithms are based on the fixed vocabulary table currently. The vocabulary table may not often match the processed corpus in practice which has a bad effect on the precision of LDA. To solve this problem. we let the topic words distribution subject to the dirichlet process CDP) and r e-deduce the model under the framework of BP algorithm. so that we can make the vocabulary table empty before the algorithm running and it can continually add new words to table. Results from the experiments show that.our new algorithm can make the vocabula ry table match the corpus better and the dynamic vocabulary table makes the new algorithm achieve better performance on perplexity and PMI compared with other state-of-the-art fixed vocabulary online algorithms. Keywords Latent dirichlet allocation.Dynamic vocabulary. 口richlet process. Streaming process