基于知网的中文词语相似度计算.docVIP

基于知网的中文词语相似度计算 　　摘 要：针对中文词语相似度计算的问题，根据信息论中两个事物相似度计算的思想，提出一种基于知网义原信息量和义原及其角色关系的中文词语相似度计算方法，利用知网分类体系计算出词语义原信息量，根据义原信息量计算出词语概念间主类义原的相似度，结合词语概念中义原及其角色关系相似度及义原结点相似度来综合计算词语的相似度，与刘群、知网在线的方法及人工判断的相似度值进行了比较，实验结果显示该方法与人的判断更接近。 　　关键词：义原信息量；义原及其角色关系；词语相似度；知网 　　中图分类号： TP391 文献标志码： A 文章编号：2095-2163（2015）03- 　　Chinese Words Similarity Computation based on HowNet 　　LI Guojia 　　（Department of Software，North China University of Water Resources and Electric Power，Zhengzhou 450045，China） 　　Abstract：In view of the problems of Chinese words similarity computation， according to the ideology of information theory on the similarity of two objects， this paper presents a new computing Chinese words similarity method based on information content of HowNet sememe and sememe and event role. The method uses HowNet lexical taxonomy to calculate the sememe information content， and uses the similarity of main sememe， the similarity of sememe and event role， similarity of the sememe node to compute Chinese word similarity. The experimental results that have been compared with Liu-qun and HowNet’s conclusion demonstrate that the method is similar to human judgment. 　　Keywords： Sememe Information Content； Sememe and Event Role； Word Similarity； HowNet 　　0 引 言 　　词语相似度计算在信息检索、文本分类、信息抽取、机器翻译等领域有广泛的应用[1]。词语相似度的计算主要有两类方法：一类是世界知识（Ontology）或者分类体系（Taxonomy）的方法，如基于WordNet中词语结点的距离来计算英语词语的语义相似度[2]，基于知网（HowNet）义原间的距离或者深度等信息来计算中文词语的语义相似度[3-4]。另一类是基于语料统计的方法[5-8]，这类方法假设凡是语义相近的词，其上下文也应该相似，利用上下文中词语概率的分布来计算词语相似度。 　　知网（HowNet）是国内外自然语言处理中使用较为广泛的中文语义资源平台，自1999年发布以来受到越来越多研究人员的关注[9]。基于知网计算中文词语的相似度研究也陆续推出了很多方法。王小林等采用变系数对各类义原加权计算，并认为不同词性对词语相似度的贡献度不同，引入词性相似度来综合计算词语相似度[10-11]；林丽等将部分义原划为弱义原，这类义原在参与相似度计算时赋予较低权重值[12]；张敏等考虑词性的作用，并减少了抽象义原在词语相似度计算中贡献[13]，范弘屹等在相似度计算中综合考虑义原的距离、深度、密度等信息[14]；张亮等利用知网构建语义树，将词语相似分析计算转化为语义树的相似分析[15]。这些方法通常根据意义分解的思想，将词语分解为更小单位（义原）参与相似度计算，再按照权重比例综合计算词语整体相似度，计算结果依赖于公式的设计和参数的选取，不能充分反应出词语语义的相似性。刘青磊等通过词语义原集合的共有信息和差异信息来综合计算词语相似度[16]；游彬等将知网作为统计语料库计算词语所包含的义原信息量，然后来估计两个词语的语义相似度[17]，基于语料统计的方法比较依赖于统计所用的语料库