基于编辑距离结合词性的词相似度算法.pdfVIP

中国科技论文在线 基于编辑距离结合词性的词相似度算法 梅筱，刘海鹏* （北京邮电大学智能科学与技术研究中心，北京 100876 ） 摘要：现有的词语相似度算法大多依赖于外部知识（知网、同义词词林等），导致其只能解 决外部知识以内的词语，或者单纯依赖词语本身的某一种特性，准确率不足。本文提出了一 种在最小编辑距离的基础上结合词性的相似度算法，打破了外部知识的局限性，并提高了单 纯依赖最小编辑距离计算相似度的准确率。 关键词： 模式识别与智能系统；词共现；最小编辑距离；词性；相似度 中图分类号：H08 Word similarity algorithm based on Edit Distance and the Parts of Speech Mei Xiao, LIU Haipeng (Intelligence Science and Technology Research Center of Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: The current word similarity algorithms are dependent on external knowledge (Hownet, TongYiCi CiLin, etc.), leading to only words within external knowledge can be resolved, or rely solely on one feature of words, the accuracy is insufficient. This paper presents a similarity algorithm based on minimum edit distance in combination of parts of speech, it breaks the limitation of external knowledge, and increased the accuracy of which relies solely on minimum edit distance. Key words: Pattern Recognition Intelligent Systems; word co-occurrence; minimum edit distance; parts of speech; similarity 0 引言 认知科学的研究表明，人类在语言习得过程中，其他认知通道(如视觉)的信息具有重要 的辅助作用。母亲在开始教孩子说话时总会借助一些身边的玩具，比如一个皮球，在重复地 和孩子说“球”等简单的指代性话语时，也让孩子通过眼睛、耳朵、手等感觉器官进行看、 听、摸等感知活动，帮助孩子获得对“球”这个词的理解。而视觉信息对语言习得的帮助尤 其大，最近有认知科学的研究表明，人们在提取物体语义知识时都会同时激活该物体的视觉 表象[1]。 目前，越来越多的应用需要将感知数据翻译为自然语言[2]。视频游戏中自动的体育解 说员，将空间关系和虚拟运动员的动态映射成语言。汽车的自动导航系统在地图导向和地理 位置数据的基础上说出正确的前进方向。另外，随着机器人工业的发展，未来的家用机器人 在新的环境需要对新的物体进行识别[3]。它可以问主人几个简单的问题，根据主人的回答 来排除多余的可选项，最终进行确认分类。受到人类在日常交谈中肢体语言作为辅助的视觉 信息可以帮助语言上的交流的启发，通过计算机视觉捕捉人眼的移动和方向以及识别人类的 动作来对一些模糊的和省略的语言内容构建完整的上下文。 在前面提到的国外学者已经构建的系统中，都