基于路径与词林编码的词语相似度计算方法-计算机工程.PDF

第 卷 第 期 计 算 机 工 程 年 月 人工智能及识别技术 文章编号 文献标志码 中图分类号 基于路径与词林编码的词语相似度计算方法 王松松高伟勋徐逸凡 上海师范大学 信息与机电工程学院上海 摘 要 现有词语相似度计算方法主要针对词语的路径结构进行计算较少深入考虑词语的语义信息导致计算结 果不够准确 针对该问题提出一种改进的词语语义相似度计算方法 将词语的词林编码与路径结构相结合同 时利用局部敏感哈希算法和海明距离计算词林编码之间的相似度 在 和 数据集上的实验结果表明该方 法可使皮尔逊相关系数分别达到 和 较传统基于路径和深度的计算方法准确性更高 关键词 同义词路径结构编码词语相似度局部敏感哈希算法语义 中文引用格式王松松高伟勋徐逸凡基于路径与词林编码的词语相似度计算方法 计算机工程 英文引用格式 且具有较好的词语相似度计算效果 文献 提出 概述 利用相邻句子的词语共现来计算词语相似度将词 词语相似度计算是文本数据处理的基础在信 语共现与相结合实现了词语相似度的计 息检索词义消歧机器翻译等方面都有广泛的应 算 传统基于统计的方法主要依赖于语料库的训 用 词语相似度的研究方法主要可以分为基于统计 练无法很好地处理未登录词以及词语语义上的问 的计算方法和基于语义分析的计算方法 题在相似度计算上降低了结果的准确性 基于统计的方法主要是使用词语间的概率分 基于语义分析的计算方法主要通过知识库对词 布包括信息熵方法 方法和词语共现方法等 语构建语义关系 包括 同义词词林和 文献 在传统词语相似度计算方法的基础上引入 文献 对 的结构进行分析分 了词表相似度的概念在词语义原层面上引入信息 别从义原和概念两方面来计算词语之间的相似度 熵的概念利用信息熵实现了词语之间的相似度计 文献 在同义词的基础上分别从词语的路径深度 算 文献 将词语的特征向量映射为词语的主题 和路径距离方面计算词语之间的相似度 文献 分布来计算词语间的相似度实现了基于 的词 使用分别从同义词和反义词的角度来计算 语相