基于LDA分析的词聚类算法.pdfVIP

NCMMSC’2009 ，8 月 14－16 日，新疆乌鲁木齐 基于LDA分析的词聚类算法* 楚彦凌，刘刚 (北京邮电大学 信息与通信学院，北京 100876) 摘 要： 本文提出一种新的基于 LDA 分析的词聚类算法，生成基于类的语言模型，利用 LDA(Latent Dirichlet Allocation) 分析词在不同主题上的分布，得到词的特征向量，对其进行 k 均值聚类。由于这种聚类方法融入了文本语义信息， 使得聚类的结果因注入了上下文的信息而更加实用化。 关键词：语言模型；LDA(Latent Dirichlet Allocation) ；词聚类； 中图分类号： TP391 近年来，统计语言模型已经应用在越来越 后来，人们提出了利用上下文关系的聚类 多的领域中：信息检索，信息抽取，机器翻译， 方法，来实现基于类的语言模型，例如，基于 语音识别等众多领域[1][2] 。当前最常