快速形式匹配及其性能评价分析.docVIP

快速形式匹配及其性能评价分析 　　摘要：句子匹配问题及其评价极具研究价值。本文针对存在天然空格分隔符的语言提出一种快速形式匹配算法，该算法将字符进行打包，充分利用单词中字符的内聚性，使源句子与目标句子在形式上进行快速匹配，有效提高匹配性能，缩短匹配时间。我们在双语句子数据集上进行了实验，并采用BLEU、ROUGE_L和ROUGE_S三种评价指标进行评价。实验结果表明快速形式匹配能够在缩短87.6%时间的前提下将传统Levenshtein匹配的平均BLEU4值提升12.5%，ROUGE_L的F值提升17.7%，ROUGE_S的F值提升16.0%；在进行句子匹配性能评价时，ROUGE_L能够以较短的时间获取较高的性能评估值，性能最优，BLEU性能次之，ROUGE_S性能第三。 　　关键词：快速形式匹配；BLEU4；ROUGE_L；ROUGE_S；评价 　　中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）19-0162-07 　　Fast Formal Match and Performance Evaluation Analysis 　　YU Jun-ting1， LIU Wu-ying2， YI Mian-zhu1， HE Hong-ye1 　　（1. Luoyang University of Foreign Languages， Luoyang 471003， China；2 .Language Engineering and Computing Laboratory， Guangdong University of Foreign Studies， Guangzhou 510420， China） 　　Abstract： Sentence matching and its evaluation are worth well to research. This paper addresses the languages with natural space separators， proposes a fast formal match algorithm， which wraps characters and takes advantage of character cohesion in word. This algorithm can match the source sentence and target sentence fast at form， improve matching performance effectively and shorten matching time. We perform experiments in bilingual sentence data set and take the BLEU， ROUGE_L， ROUGE_S as evaluation metrics. And the results show that fast formal match can improve the average BLEU4 of traditional Levenshtein match by 12.5% with the 87.6% shortening of the runtime， and the improvement of ROUGE_Ls F value is 17.7% and that of ROUGE_Ss is 16.0%. At the evaluation of sentence matching， ROUGE_L can improve the performance evaluation with greatly reducing time costs， whose performance is the best. And that of BLEU is worse， the ROUGE_Ss is the third one. 　　Key words： Fast Formal Match； BLEU4； ROUGE_L； ROUGE_S； Evaluation 　　1 概述 　　句子匹配是指利用计算机算法从句子集合中自动找出与源句子形式、句法、语义相似的目标句子，通常包括浅层形式匹配、句法匹配和深层语义匹配等类型。浅层形式匹配往往不需要复杂的深层标注和手工对齐，计算效率比较高，因此具有更加广泛的适用性。迄今为止，人们提出了很多句子匹配算法。比较这些句子匹配算法的性能极具研究价值。目前主流的句子匹配评价方法就是将评价问题转化为相似度计算问题[1]，即针对同一个译文测试集，比较机器输出的候选译文与人工参考译