基于词分布的初始点选取方法.pdfVIP

基于词分布的初始点选取方法1 季铎，朱靖波 东北大学自然语言处理实验室，沈阳110006 Oerl．educa Email：jiduo@ics 摘要：本文选用动态聚类算法对汉语的词进行同义词聚类分析．在该任务中，为了改善初始点给动态 聚类算法全局最优性造成的严重影响，本文提出了一种根据词在文本类别中的分布选择初始点的方法。 此方法在k--均值和k--中心点这两种典型的动态聚类算法中有效地提高了词聚类的系统性能。 关键词：词聚类：初始点；词相似度 InitialPointsBasedonWordDistribution Selecting Jiduo,Zhu Jingbo Natural LabofNortheestem l 10004 LanguageProcessing University,Shenyang Abstract：Inthis weUSe mcthodtoclusterChinese Use∞ dynamic word．Dynamicclustering paper clustering itemtive which tooneofnumerouslocalminimaItisknownthattheseiterstive procedureconverges techniques are sensitivetoinitial conditions．Wea for initial based00 especially starting presentprocedurecomputingpoints theworddistribution．Fromthe method boththek-meansandk-midans experiments·thisimproved words,word Key clustoring,initialpoints,wordsimilarity 引言 目前，聚类技术已被广泛应用于图象处理、统计语言学习、市场分析等多个领域当中。 在图象处理中利用聚类技术实现图象的分割，物体识别等任务。在统计语言学习的信息检索 任务中利用聚类算法将查询文档归类，使用户方便地把握检索信息。在市场分析中．决策者 通过对信息的聚类分析能够很快把握市场行情。 聚类对数据集台进行划分的方法，仅仅依靠样本点间的相互关系。将给定的数据集划分 成不同的小类。动态聚类是典型的聚类算法。当给定类别数目K时，算法首先需要选定K 个初始点．此后每一次迭代再寻找聚集于中心点周围的类集。初始点选择的最普遍的问题是 孤立点问题。孤立点，即与数据集中的点距离都很远的点．当初始点为孤立点时。如图1 中的B图，无论算法如何迭代中心点都不能变化，被选中的点则自成为一类。孤立点问题影 响了动态聚类的全局最优性。同时，由于动态聚类算法是一种局部最优的方法，不同的初始 点会导致不同的收敛结果。如图1中c图，当初始点过于紧密的情况下，大类被拆分，导致 聚类算法收敛于局部最小；图D中初始值点选取类别的边界聚类，导致小类合并大类。因此， 纪优秀人才计划tNCET-05-0287)资助． —·315—- 文本认为初始点的选择方法除了需要有效解决孤立点问题，还应确保初始点尽量靠近类别的 中心，并且具有一定代表性。如图l中的A图。 现有的初始点选择方法有：前k元法、随机法、经验法和密度法”1。前k元法是晟基本 的选点方法，仅