一种改进的句子相似度计算模型.pdfVIP

第 35 卷 第 6 期 电 子 科 技 大 学 学 报 Vol.35 No.6 2006 年 12 月 Journal of University of Electronic Science and Technology of China Dec. 2006 一种改进的句子相似度计算模型 杨思春 (安徽工业大学计算机学院 安徽 马鞍山 243002) 【摘要】在基于实例的机器翻译中，句子相似度计算是实例匹配的有效机制。该文对基于相同词的句子相似模型作进一 步的改进，包括关键词抽取，以及在句子相似度的定义中引入同义词的情形。实验结果表明，改进方法比原方法具有较高的 准确率。 关 键 词 自然语言处理; 基于实例的机器翻译; 句子相似度; 基于词 中图分类号 TP391 文献标识码 A An Improved Model for Sentence Similarity Computing YANG Si-chun (School of Computer, Anhui University of Technology Maanshan Anhui 243002) Abstract In example based machine translation, sentence similarity computing is an effective mechanism for example matching. Aiming at a sentence similarity model based on same words, an improved method is put forward, including the extraction of keywords, and the induction of synonyms in sentence similarity definition. Experiment result shows that the improved method has better accuracy than the former. Key words natural language processing; example based machine translation; sentence similarity; based on word 基于实例的机器翻译(Example Based Machine Translation，EBMT)是以双语对齐的实例库为主要知识源， 输入一个待翻译的源语言句子，从实例库中查找与输入句最相似的例句，再模仿例句的译文来实现输入句 的翻译。在EBMT 中，实例匹配是关键，直接关系到系统本身的翻译质量。实现实例匹配的有效机制是进行 句子相似度计算[1-2] ，目前主要有基于词[3-5]和基于句法语义分析[6-7] 的两类方法。两类方法各有优缺点，基 于词的方法简单、流行，但由于仅利用句子的表层信息，即组成句子的有关词汇的词法和语义信息，因此， 在判断句子整体结构相似方面有欠缺；基于句法语义分析的方法折衷考虑句子的组成词汇语义信息与整体 框架结构信息，但在折衷考虑的层次上较难把握。本文研究基于词的句子相似度计算问题，并在文献[5]的 基础上提出了一种改进的方法。 1 基于词的句子相似度计算 基于词的方法是目前最简单、最流行的方法，依据词的形态变化、同义词、反义词以及更进一步的语 义距离来判断孤立词之间的相似度，再通过这种词间相似度的不同组合来确定句子间的相似度。文献[3]利 用同义词表计算两句词之间的语义距离，进而计算两句之间的相似度。文献[4]通过正反双向比较两句相同 词的个数及其位置关系，得到一个转换表达式和子块库，再通过系统预定义的翻译模式和限制条件实现两 句相似度的计算。文献[5]通过比较两句相同词的个数及其位置关系，得到两句的词形相似度和词序相似度， 再通过词形相似度和词序相似度计算两句