结合路径与词林编码的词语相似度计算方法.docVIP

结合路径与词林编码的词语相似度计算方法 王松松 高伟勋 徐逸凡 上海师范大学信息与机电工程学院 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 该文提出了一种基于路径与同义词词林编码相结合的词语语义相似度计算方法 (Path Coding算法) , 该方法通过使用两个词语的词林编码以及它们在词林中的的路径结构来计算两个词语的语义相似度。在计算两个词语之间的相似度时, 使用局部敏感哈希算法将两个词语的词林编码转换成两个二进制, 使用海明距离来计算两个二进制之间的距离。同时将同义词词林树形结构中不同层次赋予不同的权重, 将词林编码与路径结构相结合, 来实现两个词语之间的相似度计算。实验表明, 该方法在MC数据集和RG数据集上的词语相似度计算值与人工判定值进行比较, 分别获得了0.8668和0.8974的皮尔逊相关系数, 该结果优于目前词语相似度的计算结果。 关键词： 同义词词林; 路径; 编码; 词语相似度; 局部敏感哈希; 语义; 作者简介：王松松 (1991-) , 男, 硕士研究生, 主要研究方向:自然语言处理、数据挖掘; 作者简介：高伟勋 (1973-) , 男, 博士, 高级工程师, IEICE会员, 主要研究方向:计算机网络、智能信息处理; 作者简介：徐逸凡 (1993-) , 男, 硕士研究生, 主要研究方向:计算机网络。 WORD SIMILARITY BASED ON PATH AND CILIN CODING Wang Songsong Gao Weixun Xu Yifan College of information and Mechatronic Engineering, Shanghai Normal University; Abstract： In this paper, we propose an approach to measure semantic similarity between words (Path Coding Algorithm) . This approach calculates the semantic similarity of two words by using the Cilin coding of two words and their path structure in Cilin. The local sensitive hash algorithm is used to convert the Cilin coding of the two words into two binary vectors and then the Hamming distance is employed to measure the distance between these two binary vectors. The different weights are assigned to different levels of the tree structure of the Tongyici Cilin and the calculation of similarity between the two words is then weighted by the path structure. The experiments show that our approach outperforms the conventional approaches to word similary measure, i.e., the performance in terms of Pearson correlation coefficient between the human judgments and the machine calculation achieves 0.867 and 0.897 on MC dataset and RG dataset, respectively. Keyword： Tongyici Cilin; path; word code; word similarity; Locality Sensitive Hashing; semantic; 0概述 词语相似度计算是文本数据处理的基础, 在信息检索、词义消歧、机器翻译等方面都有广泛的应用。 在词语相似度的研究方法中, 主要可以分为基于统计的计算方法和基于语义分析的计算方法。其中, 基于统计的方法主要是使用词语间的概率分布, 包括信息熵方法、LDA方法和词语共现方法