TFIDF方法在英语句子相似度计算中应用初探.docVIP

TFIDF方法在英语句子相似度计算中应用初探 　　摘要：介绍了一种中文自然语言处理中句子相似度的计算方法—基于向量空间模型的TFIDF方法，并将该方法引入到了英语句子相似度的计算中来。对于含有同义词的句子，在计算句子相似度之前，先使用WordNet2.1查询句子中关键词的同义词集进行消歧，再利用TFIDF方法进行相似度的计算。计算结果表明，消歧后再计算能得到更好的效果。 　　关键词：TFIDF；相似度计算；WordNet 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)17-4127-02 　　Study of English Sentence Similarity Conputing in TFIDF Method 　　YANG Qian-qian，XU Dong 　　（College of Physics and Electronics，Shandong Normal University，Jinan 250000，China） 　　Abstract：A method based on vector space model of TFIDF for calculating sentence similarity in Chinese natural language processing is introduced. The method is introduced to calculate the similarities of English sentences. For the sentences which contain synonyms，Word? Net2.1 is used to find synset of the keywords in the sentences before the similarity calculating，and then eliminate ambiguities，TFIDF method is finally used to calculate sentence similarities. The result shows that the similarity after ambiguities eliminating is more accurate. 　　Key words：TFIDF；similarity calculating；WordNet 　　在机器翻译中基于实例的方法非常普遍，翻译结果也相对准确。在基于实例的英-汉机器翻译中，要想找到与目标句相匹配的源语言句子就要用到句子相似度的计算。在基于实例的机器翻译中句子相似度的计算非常关键，直接关系到目标句和语料库中源句子的匹配程度。 　　在汉语句子相似度的计算中经常采用的是基于向量模型的TFIDF方法，这是一种基于统计的方法，利用句子的词的词频词性等信息进行相关计算。我们将TFIDF方法引入到英语句子相似度的计算中来，但是直接利用TFIDF方法计算英语句子的相似度并不理想。这种方法没有对语义进行分析，在计算过程中若有同义不同形的词，相似度的结果就会受到影响，导致翻译匹配结果不准确。该文先采用WordNet2.1查询目标句子和源语言句子中关键词的同义词集，进行简单的同义词消岐后，再利用TFIDF方法计算英语句子之间的相似度。 　　1英语句子相似度的计算方法 　　要计算英语句子的相似度，对于含有同义词的句子首先要用WordNet查询句子中关键词的同义词集，进行消歧后，再利用TFIDF方法计算英语句子间的相似度。下面分别介绍一下WordNet的特点和基于向量空间模型的TFIDF方法。 　　1.1 WordNet的特点 　　WordNet是在Princeton大学认知科学实验室的G.Miller教授指导下开发的实际工作始于1985年。WordNet是一个在线的词汇参照系统，它的独特之处在于它是依据词义而不是依据词形来组织词汇信息。WordNet使用同义词集合（synset）代表概念（con? cept），词汇关系在词语之间体现，语义关系在概念之间体现。WordNet构造的核心是如何表示词汇概念节点，及在这些概念节点之间建立起各种语义关系。WordNet将英语词汇组织为一个同义词集合，每个集合表明一个词汇概念，同时力图在概念间建立不同的指针，表达上下位、同义、反义等不同的语义关系。经过这样的过程，原来抽象的概念被形式化了，变得具体且可以通过词汇意义加以操作，概念之间还可以建立多种语义关系的联系和推理。WordNet中词汇概念的语义关系主要包括：上下位、同义、反义、整体和部分、蕴含、属性、致使等。 　　该文查询词语用的是WordNet2.1版本。Version2.1