一种基于词间相似性的词聚类算法研究.pdfVIP

一种基于词间相似性的词聚类算法， 陈浪舟 黄泰翼 (中科院自动化所，北京，100080) 摘 要本文基于自然语言词与词之间的相似度，提出了一种词的分层聚类算法。实验证明:该算 法在算法复杂度和聚类效果七比传统的基于贪婪原则的统计聚类算法都有明显的改进。 关键词 词的聚类 统计语言模型 引 言 本文的研究，是为了获取基于类的n元统计模型而对汉语词进行聚类。传统的词的 分类是由语言学家通过对自然语言的分析和研究由人工的方式得出的。朱德熙先生将汉 语分成22大类。有文献指出汉语语义分类体系表现为一种树状分层结构。专家聚类的 结果能反映词之间的语法和语义关联，反映明确的语言学知识。但是专家聚类所需要的 浩大的工作量是很难承受的。另外，它更多地体现了专家的语言学知识。现在由于计算 机科学的发展，大规模的文本语料已成为语言学研究的强有力的工具，基于专家的聚类 方法不能充分地运用从语料库中所获得的大量统计知识。 基于统计方法的自动聚类为我们提供了一种新的思路。自动聚类通常是基于大规模 真实语料，我们希望我们的聚类方法在充分利用语料的统计知识的基础上，能尽量地靠 近专家所建立的汉语词的语义分类体系，反映其层次结构。本文中所介绍的方法就是围 绕这一想法构造的。 传统的统计聚类方法通常基于贪婪原则，以语料的似然函数或困惑度作为判别函 数。这种传统聚类方法主要缺点是聚类速度慢，初值对结果影响大，易陷入局部最优。 而我们提出的以词的相似度为特征值的系统分层聚类方法，以相对非常小的计算代价获 得了相对较好的聚类效果。 2 词的相似度的估计 文献口]把一个词的语言环境表示为该词与其近邻词之间的互信息，基于这种考虑， 提了一种相似度定义。 艺min(1(w,wi),I(w,wz))+min(I(w,,w),1(wz,w)) sim(wI,WO=甘任几习翻‘ __一 (1) Emax(I(w,wi),I(w,w2))+max(I(wi,w),I(w2,w)) 本项 目褥到国家 自然基金支持 f批准 .492. 其中，1(x,y)为相邻词对xy之间的互信息。 3 聚类算法 我们在讨论聚类算法之前首先介绍我们的聚类原则。由((1)式，我们可以计算词表中 两两词之间的相似度。如果词表中有n个词，理论上我们需要进行n2次相似度计算。但 是由于语料库的数据稀疏，绝大多数词对根本不存在相似的语言环境，因此计算量实际 远远小于a(nz)。对词表中的每个词w ，我们只需保留与之相似度大于某一x值的词， 组成该词的相似词集合。如(z)式所示口 sim_set(w)=毛VIvEVsi城w,v)r} (2) 其中Sim_set(w)为词W 的相似词集合，Y为词表，t为常数表相似度MI值·(2)式所 示的相似度集合也就是我们聚类所需要的初始化特征。由于汉语的语义分类体系是一个 分层树状结构，我们的聚类算法应该在反映语料库统计信息的基础上，尽量靠拢语言学 家所定义的汉语语义分类结构，因此，我们选择分层聚类的方法作为我们的聚类算法。 这里，为使我们的聚类更接近于真实的分类体系，我们不强求分层聚类必须按某种拓扑 结构进行，分层聚类采用由底向上的聚类方法，即首先每个词各自代表一个类，类的数 目就是词表的大小。然后将当前层中的互近邻合并。互近邻的定义如下: 令 dd(i)二min(d(i,j)) 则称Neib(i)二{{j:j!=id(i,j)= dd(i)}为i的近邻· 如果存在 (Neib(i)= jNeib{j}“i) 则称i,j为互近邻 其中i,J为当前层类的索引号，d(i,j)为类i与类j之间的距 离。 定义类 i的相似词集合为i中每个词的相似词集合的并集，即 Class-sim_set(i)=USim_set(w)