基于互信息的词聚类方法研究.pdfVIP

算法与应用 ．31． 基于互信息的词聚类方法 袁里驰吴京慧 江西财经大学信息管理学院，南昌330013 methodin and 【摘要】基于类的统计语言模型是解决统计模型数据 clustering speedperformance． Words：mutual 稀疏问题的重要方法。传统的统计聚类方法基于含婪原 Key information；statisticallanguage model；word 则，常以语料的似然函数或困惑度(perplexity)作为评 similarity；clusteringalgorithm 价标准。这种传统的聚类方法的主要缺点是聚类速度 弓 口 慢，初值对结果影响大，易陷入局部最优．本文利用互 信息定义了一种词相似度，在词相似度的基础上给出了 统计语言模型已经成功应用于语言识别，拼写 词集合相似度的定义。基于相似度，提出了一种自下而 纠正机器翻译，信息检索等许多自然语言处理领 上的分层聚类算法，这种方法不但能改善聚类效果，而 且可根据不同的模型选择不同的相似度定义，因而提高 域。其最具代表性的n—gram模型根据词序列中的 聚类的使用效果。实验证明，该算法在计算复杂度和聚 前n-1个词预测后一个词发生的概率。通常n—gram 类效果上比传统的基于贪婪原则的统计聚类算法都有 模型需要很大的训练语料，在构造n元模型时面临 明显的改进。 两个问题：一是系统开销问题，随着语料库的不断 【关键词】互信息；词相似度；聚类算法；统计语言 扩充，模型的体积也急剧膨胀，使现有硬件资源难 模型 以承受，另一方面，对特定领域来说，会遇到数据 稀疏问题，特定领域的大量语料不易得到，但即使 AWord Methodon ClusteringBasedMutual 训练语料多么庞大，也无法覆盖所有的语言现象， Information 因此，在语言模型的实际使用中，不可避免的会遇 YuanLichiWu Jinghui 到大量从未遇到的语言现象，如何估计这些语言现 Abstract：Cluster—basedstatistic modeliS language 象的出现概率，是现有n-gram模型的主要问题 an methodtosolvethe of important problemsparse之一。 data．Conventionalstatistical methods clustering baseon common 在统计语言模型中，词的聚类【51是解决数据 Metric usually greedyprinciple．The for a iStheliketihood稀疏问题的主要方法之一，由于类的数培远远小 evaluatingclusteringalg