词语相似度算法分析与改进.docVIP

词语相似度算法分析与改进 　　摘 要： 对现有的词语相似度算法进行分析，提出一种基于知网，面向语义、可扩展的词语相似度计算方法，通过对实验结果进行分析，所提出的词语语义相似度计算方法比以前的方法更好，在计算词语相似度时，准确率更高。 　　关键词： 词语相似度算法；义原相似度计算；概念词的相似度计算；非概念词的相似度计算 　　中图分类号：TP391.1 文献标识码：A 文章编号：1671－7597（2011）1220093－02 　　在建立主观题评分模型时，要判断句子的相似度，计算句子的相似度时，首先要处理的就是词语的相似度计算工作。目前对词语的相似度计算人们已经做了大量的研究，提出了一些较有代表性的计算方法。主要包括以下几种： 　　1）基于字面信息的词语相似度计算 　　这种算法的核心内容是：中文词语的构成句子中，一般较核心的内容都放在句子的后面。句子后面的词语在句子中所起到的作用比靠前的词语大。因此在对句子进行分析时需要给后面的字或词赋予较高的权值。 　　假设A和B分别代表两个词语，按照此算法，词语之间的相似度计算公式可以表示为公式1。 　　 　　使用字面信息作为相似度计算的算法较简单，实现起来也方便。但该算法准确率不高，尤其是对于语义相似的词语更是难于处理。 　　2）基于词林的词语相似度计算 　　对于以同义词词林作为语义分类体系进行词语相似度计算的研究，王斌和章成志都曾作了相关探讨[1]。其核心思想是使用两个词语的语义距离来表示词语间相似度。当处理对象是一个词组或短语时，首先将其切分为义类词，并将义类词在词林的树状结构中提取出相关的语义编码，并对两个词语的语义编码进行相似度计算。 　　基于词林的词语相似度计算较好的解决了语义相似、词形不同的词语相似度计算，但由于语义词典的完备性问题，必然会存在部分不在语义词典中的词语而无法处理。 　　3）基于知网的词语相似度计算 　　知网以概念作为描述对象，从关系层次上揭示词语的概念含义，并建立了概念关系网络，包含词语属性以及属性间关系[2]。刘群、李素建从知网的关系描述出发，研究了同一个词义所具有的多个义原间的关系，并试图计算出这些义原在计算相似度时所起到的作用，并根据这种思想提出了使用知网的语义信息来计算词语相似度的算法。 　　该算法在计算概念词的相似度时较准确，但在计算概念词与非概念词，非概念词与非概念词的相似度时，准确率不高。 　　为克服这些问题，我们采用知网作为语义资源，结合信息论中的相关理论，提出了一种面向语义的、可扩展的、多策略混合的词语相似度计算模型。 　　1 义原相似度计算 　　词语的相似度计算，最终还是要计算各词语的义源相似度。在知网中，所有词语都包含义原信息，应用知网进行相似度计算时，第一步就是要计算义原的相似度。文献中刘群从两个义原的距离出发，按照相似度的计算过程给出了一个计算词语间相似度的公式[3]，如公式2所示： 　　 　　 　　公式2中 和 表示两个义原； 是 和 在知网中义原层次上的路径长度， 是一个可调节的权值参数。但是，此方法中的 取值大小没有固定的判断方法，而且以距离的倒数作为相似度的计量基准也不能全面的表示出词语的相似度信息。 　　我对刘群提出的义原相似度进行改进，先给出义原深度的概念： 　　定义1：义原深度，指义原 在知网的语义层次体系中所处的层数信息，记为 。 　　定义2：重合度，指知网中的两个义原 和 在深层含义中拥有相同祖先结点的路径长度，记为 。 　　定义3：相异度，指知网中两个义原 和 在义原层次中沿着父节点逐层上移，直到两个节点相遇所走过的最短路径长度，记为 　　从相异度的定义可知它与语义距离相同。 　　根据上面的义原深度、重合度以及相异度对义原的定义，我们使用下面的公式3来计算义原间的相似度： 　　 　　 　　 　　从公式3可看出，义原的相似度等于两个义原的相同部分与相同部分和相异部分之和的比值。两义原相同部分与相异部分之和等价于两个义原各自的义原深度的和，因此公式3又可以写为公式4： 　　 　　采用上面的方法在计算义原相似度的过程中，利用了知网提供的上下位关系。应用知网计算词语的相似度时，还要考虑词语间、词语和义原之间的相似度计算。比较有效的做法是先把词语转化成义原表达式，再计算义原与义原之间的相似度。 　　2 概念词的相似度计算 　　词语分为概念词和非概念词，概念词指的是需要计算相似度的词都是存在于知网中的概念，非概念词则相反。在应用知网进行概念词相似度计算时，将其分为4个部分：① 知网中首要基本义原，即词语属性中的DEF项中在第一位置的义原描述式；② 知网中其他基本义原，即词语属性中的DEF项中除第一位置以外的义原；③ 知网中的关系义原，即词属性列表中的DEF