基于松弛尺度的短语翻译对抽取方法.PDFVIP

文章编号：1003-0077 2007）05-0000-00 基于 “松弛尺度”的短语翻译对抽取方法* 1 1 1 2 何彦青 ，周玉 ，宗成庆 ，王霞 1.中国科学院 自动化研究所 模式识别国家重点实验室，北京 100080；2.诺基亚（中国）研究中心，北京 100013） 摘要：短语对抽取是基于短语统计机器翻译方法的关键技术。当前广泛使用的Och 提出的短语对抽取方法， 过于依赖词对齐结果，因而只能抽取与词对齐完全相容的短语对。本文给出一种基于 “松弛尺度 的短语 抽取方法，对不能完全相容的短语对，结合词性标注信息和词典信息来判断是否进行抽取，放松 “完全相 容 的限制，可以保证为更多的源短语找到目标短语。实验表明，该抽取方法的性能比Och 的方法有明显 的改善和提高。 关键词：短语对抽取；统计机器翻译；松弛尺度 中图分类号：TP391 文献标识码：A A Flexible-Scale-Based Method of Phrase Translation Extraction He Yanqing, Zhou Yu, Zong Chengqing (National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100080, China) Abstract: The phrases translation pair extraction is the key technique in Phrase-based Statistical Machine Translation. Och s phrase extraction method heavily depends on word alignments and extracts the phrase pairs which are fully consistent with the word alignments. This paper proposes a method of phrase pair extraction with a flexible scale. It not only makes use of the merit of Och s method but also extracts those phrase alignments Och s method can not obtained. The flexible scale is based on the two features: POS and dictionary information. Our experiments have shown that our method outperforms Och s method significantly. Key words: phrase pairs extraction; statistical machine translation; flexible scale 1 引言 基于短语的统计机器翻译系统的优势在于短语能够抓住局部上下文的依赖关系，因此，近几 年来该模型一直是统计机器翻译的重要模型之一。在翻译过程中，它将任意连续的字符串都视为 短语，从词对齐的双语语料库中自动学习双语短语，并以短语为单位进行翻译。其中，起关键作 用的是自动抽取双语短语对的过程。能否从双语对齐句子的语料中尽可能多且准确地抽取短语翻 译对，很大程度上决定着基于短语的统计机器翻译系统效能的优劣。 迄 为止，已经出现了多种短语抽取方法。其中，有些模型依赖于词对齐的效果，有些不依 [1] 赖于词对齐的结果。Marcu 给出了一种直接计算短语对列表和相应概率值的方法 ；Wu 用一个双 [2] 语框架 bracketing）的方法来抽取短语 。这