对称和非对称词语聚类模型的比较研究.pdfVIP

第35 卷 第10 期 计 算 机 工 程 2009 年5 月 Vol.35 No.10 Computer Engineering May 2009 ·博士论文· 文章编号：1000—3428(2009)10—0014—04 文献标识码：A 中图分类号：TP391 对称和非对称词语聚类模型的比较研究 孙越恒，曹桂宏，侯越先 (天津大学计算机科学与技术学院，天津 300072) 摘 要：词语聚类是语音识别、智能信息检索等领域的一个重要的自然语言处理问题。实现基于互信息的对称聚类模型，并针对该模型未 考虑词语顺序的缺陷，提出一种新的非对称聚类模型。按照聚类词相对其他词语的位置关系，该模型分为 2 个子模型，即条件聚类模型和 预测聚类模型。在大规模数据集上的实验表明，相对于对称聚类模型，非对称聚类模型是一种更为有效的词语聚类模型。 关键词：词语聚类；对称聚类模型；非对称聚类模型 Comparative Research on Symmetric and Asymmetric Word Clustering Models SUN Yue-heng, CAO Gui-hong, HOU Yue-xian (School of Computer Science and Technology, Tianjin University, Tianjin 300072) 【Abstract 】Word clustering is one of important natural language processing issues in speech recognition and intelligent information retrieval, etc. This paper presents a symmetric clustering model based on mutual information. For the model not taking the order of words into account, it proposes a new asymmetric clustering model including two sub models, conditional clustering model and predictive clustering model. Experimental results on large scale data set show that compared with the symmetric clustering model, the asymmetric clustering model is a more effective one for clustering words. 【Key words 】word clustering; symmetric clustering model; asymmetric clustering model 1 概述 模型。对所有的 k ，都有： 词语聚类，即将一个给定的词 w 分到某个词类 c