汉语词语语义相似度计算研究语词语语义相似度计算研究.PDFVIP

2007 年年3 月月 计计 算算 机机 工工 程程 年年 月月 第第33 卷卷 第第6 期期 计计 算算 机机 工工 程程 第第 卷卷 第第 期期 Vol.33 No.6 Computer Engineering March 2007 文章编号文章编号 1000 3428(2007)06 0191 04 文献标识码文献标识码 A 文章编号文章编号 文献标识码文献标识码 中图分类号中图分类号 TP391 人工智能及识别技术人工智能及识别技术 中图分类号中图分类号 人工智能及识别技术人工智能及识别技术 汉语词语语义相似度计算研究汉语词语语义相似度计算研究 汉汉语词语语义相似度计算研究语词语语义相似度计算研究 夏夏 天天 夏夏 天天 (中国人民大学信息资源管理学院 北京 100872) 摘摘 要要 汉语词语的语义相似度计算是中文信息处理中的一个关键问题 该文提出了一种基于知网 面向语义 可扩展的相似度计算新方 摘摘 要要 法 该方法从信息论的角度出发 定义了知网义原间的相似度计算公式 通过对未登录词进行概念切分和语义自动生成 解决了未登录词 无法参与语义计算的难题 实现了任意词语在语义层面上的相似度计算 针对同义词词林的实验结果表明 该方法的准确率比现有方法高 出近 个百分点 15 关键词关键词 词语相似度 知网 概念 义原 关键词关键词 Study on Chinese Words Semantic Similarity Computation XIA Tian (School of Information Resource Management, Renmin University of China, Beijing 100872) Abstract Similarity computation of Chinese words is a key problem in Chinese information processing. This paper proposes a new method on similarity computation which is based on Hownet, geared to semantic and could be expanded. The new method defines a similarity computation formula among Hownet’s sememes according to information theory, finds a way out of the difficulty that OOV words cannot participate in semantic computation by implementing concept segmentation and automatic semantic pro