汉语词语及句子相似度算法研究与应用-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 摘要 摘 要 词语和句子的相似度计算在信息检索、文本分类、问答系统以及基于实例的 机器翻译等各领域中都有着广泛的应用。作为目前讨论的重点，本文主要从语义 的角度出发对基于“知网”的词语及句子相似度计算方法进行了深入的研究。 基于“知网”的词语（句子）相似度计算通常是把义原（词语）之间的最优 匹配对作为运算的基本单位，最终的整体相似度可由每一部分的相似度值通过适 当的加权计算合成而来，这样的做法往往会造成一些匹配对内部信息的重复和结 构的不合理。本论文正是针对该问题，在深入分析“知网”体系结构的基础上， 对词语和句子的相似度计算以及词义消歧做了创新性和探索性的研究。主要内容 为： 1．详细研究了当前基于“知网”的义原相似度计算方法。这类义原相似度计 算机制往往是通过计算两个义原在上下位层次关系树中的路径距离来得到义原之 间的相似度，没有或者很少考虑义原在层次树中的深度，本文综合考虑了义原间 的路径距离以及义原层次树的深度，从义原所包含的信息结点数量出发，得到了 一种新的义原相似度计算方法。 2．详细研究了目前常用的词语及句子相似度计算方法，并把讨论的重点放在 了基于“知网”的词语及句子相似度计算上面。文章从信息论的角度出发，在上 文所提出的义原相似度算法基础上，分别对两个义原集合之间的共有信息和差异 信息进行统计，并据此得出两个义原集合之间的相似度，最终的词语（句子）相 似度计算是以义原集合为计算单位的。 3．研究了目前常用的词义消歧算法的基本原理和具体方法。在“知网”提供 的搭配实例以及上文中提出的句子相似度算法基础上，得到了一种简便快捷的词 义消歧方法。 4．具体分析了自动问答系统构建的技术方法和模块架构，以基于常问问题集 的问答系统模型为实例，体现了词语及句子相似度在具体应用领域中的重要性。 关键词：知网，词语相似度，句子相似度，共有信息，差异信息 I ABSTRACT ABSTRACT Word and sentence similarity play an increasingly important role in many fields such as information retrieval, text categorization, question-answering and example-based machine translation. As the currently hot topic, this thesis studies the word and sentence similarity computing based on the “Hownet” in depth mainly form the perspective of semantic. Word (sentence) similarity computing based on the “Hownet” usually treats the optimal matches between the primitives or words as the basic unit, and the ultimate outcome can be the sum of weighted counts. However, this approach often results in the information duplication and irrational constructions. To deal with these issues, the basic architecture of “Hownet” has been analyzed, and novel algorithms and process are explored and investigated for word and sentence similarity. The main results are as follows: Some algorithms for similarity of primitives in “Hownet” have been studied in detail. These algorithms computed the similarity of primitives through quantifying the semantic paths between two primitives. This mechanism has little or no consideration of the depth of primitives in hierarchical structure. In this t