基于LDA主题模型标签传递算法.docVIP

基于LDA主题模型标签传递算法 　　摘 要: 　　标签传递算法是一种半监督分类方法，由于该算法存在要求数据分类结果符合流行假设、数据维数较高时计算复杂度高等问题，在文本分类中效果较差。针对这些问题，经过对LDA主题模型和标签传递算法原理及复杂度的分析，将两者结合，提出一种基于LDA主题模型的标签传递算法LPLDA。该算法用LDA主题模型中的主题表示文本数据，一方面使用LDA主题模型表示文本保证分类结果符合流行假设，另一方面有效减少标签传递算法相似度计算时间。经过实验证明，该算法在标记数据少于待测样本时，分类效果优于传统的有监督分类方法。 　　?ス丶?词: 　　LDA主题模型；标签传递算法；半监督学习；数据降维；流行假设 　　 　　?ブ型挤掷嗪?: 　　TP181;TP391.4 　　 文献标志码:A 　　 　　Label propagation algorithm based on LDA model 　　 　　 　　LIU Peiqi?┆?*, SUN Jiehan 　　 　　 　　School of Information and Control Engineering, Xian University of Architecture and Technology，Xian Shaanxi 710055, China 　　 　　Abstract: 　　 　　Label Propagation (LP) algorithm is one kind of semisupervised learning methods. However, its performance in text classification is not good enough, because LP algorithm demands manifold assumption and it has high computational complexity in calculating the similarity of high dimension data. A new method was proposed to combine Latent Dirichlet Allocation (LDA) model with LP algorithm to solve the above problems after analyzing their principles and complexities. It represented documents with latent topics in LDA. On one hand, it reduces the dimension of matrixes; on the other hand, it can help LDA model lead to the classification results with manifold assumption. The experimental results show that the new method performs better than traditional supervised text classification methods in testing sets when labeled data is less than unlabeled data. 　　 　　Key words: 　　Latent Dirichlet Allocation (LDA) model; Label Propagation (LP) algorithm; semisupervised learning; dimensional reduction; manifold assumption 　　 　　 　　0 引言 　　半监督分类方法可以利用大量无标签数据指导分类，在减少数据标注的同时提高分类效果［1-4］。标签传递(Label Propagation, LP)算法通过在已标记和未标记数据间根据相似度进行标签的传递进行半监督分类,当标签达到稳定时根据类别概率为未标记数据分配标签。将标签传递算法［5-8］用于文本分类，需要解决两个问题:1)文本数据的维数较高，标签传递算法在计算数据之间相似度时需要花费大量时间；2)标签传递算法要求分类结果符合流行假设。针对这两个问题，提出用LDA(Latent Dirichlet Aollocation)主题模型［9］的主题分布表示文本。LDA主题模型的低维空间表示可以帮助标签传递算法减少图中相似度的计算时间。同时，标签传递算法通过在近邻数据间传递类别标签，可以帮助LDA主