基于松弛尺度短语翻译对抽取方法.docVIP

基于松弛尺度短语翻译对抽取方法 　　摘 要：短语对抽取是基于短语统计机器翻译方法的关键技术。当前广泛使用的Och提出的短语对抽取方法，过于依赖词对齐结果，因而只能抽取与词对齐完全相容的短语对。本文给出一种基于“松弛尺度”的短语抽取方法，对不能完全相容的短语对，结合词性标注信息和词典信息来判断是否进行抽取，放松“完全相容”的限制，可以保证为更多的源短语找到目标短语。实验表明，该抽取方法的性能比Och的方法有明显的改善和提高。 　　关键词：人工智能；机器翻译；短语对抽取；统计机器翻译；松弛尺度 　　中图分类号：TP391　文献标识码：A 　　 　　1 引　言 　　 　　基于短语的统计机器翻译系统的优势在于短语能够抓住局部上下文的依赖关系，因此，近几年来该模型一直是统计机器翻译的重要模型之一。在翻译过程中，它将任意连续的字符串都视为短语，从词对齐的双语语料库中自动学习双语短语，并以短语为单位进行翻译。其中，起关键作用的是自动抽取双语短语对的过程。能否从双语对齐句子的语料中尽可能多且准确地抽取短语翻译对，很大程度上决定着基于短语的统计机器翻译系统效能的优劣。 　　迄今为止，已经出现了多种短语抽取方法。其中，有些模型依赖于词对齐的效果，有些不依赖于词对齐的结果。Marcu给出了一种直接计算短语对列表和相应概率值的方法；wu用一个双语框架(Bracketing)的方法来抽取短语。这两种方法的计算复杂性太高。Zhang为双语句子对建立一个互信息矩阵，矩阵中的每一个单元格是词对的点式互信息，从这个矩阵中抽取互信息相似的矩形区域即得到短语对，此方法并不要求词对齐，而是充分利用词对的互信息。后来Zhang将短语抽取看作一个句子分割问题，在固定源短语时，寻找目标短语的最优左边界和右边界。这种方法的问题在于只能抽取连续的短语。Kaji对源句子和目标句子分别进行句法分析，然后按照词对齐结果来提取源子树和目标子树就得到短语对，该方法依赖于句法分析的结果。Och提出了对齐模板方法，将单词映射到词类中。该方法由于算法简单，容易实现，故而应用较广，但是利用的信息较少。有的学者也提出了一些非连续短语的抽取方法，Chiang的层次短语，允许短语内部包含子短语，但是由于没有加入句法信息导致抽取的规则会带来太多的噪音信息，对时间和空间的要求较高。 　　这些方法中，Och提出的基于词对齐的短语抽取方法是短语抽取中使用最多的一种方法。该方法从词对齐开始，遍历每一个源短语，以寻找与之对应的目标短语。在确定了某一个源短语之后，收集它的每一个词所对应的目标词，寻找这些目标词的最小位置和最大位置。之后，确定在这两个位置之间的目标词是否也全部对位于该源短语中的词，如果能够完全对应(也就是与词对齐完全相容)，则抽取该短语对；否则就放弃。对于该目标短语左右的空词，依次扩展为与该源短语对齐的目标短语。 　　这种短语抽取方法直接利用词对齐的结果，能够抽取出尽可能多的与词对齐相容的短语对。其优点在于方法简单、容易实现，所以在基于短语的统计机器翻译中起到了很好的作用。但是这个方法也存在很多缺陷：(1)它过于依赖词对齐的准确性；(2)抽取目标短语时，只能抽取出必须与词对齐完全相容的目标短语。词对齐即使很正确，但如果跳跃性比较大的话，就有部分源短语抽不出与之对应的目标短语，丢失一些信息；(3)只能抽取连续短语。 　　因此，针对这些问题，本文提出了一种基于“松弛尺度”的方法来改进Och的短语抽取方法。所谓“松弛尺度”，也就是说我们不要求中英文短语对中的双语词完全对齐，而是只要匹配到一定的程度，我们就认为该双语短语对是对齐的。本文其他部分安排如下：第2节详细介绍我们的短语抽取方法；第3节给出实验结果及分析；第4节给出结论。 　　 　　2 基于“松弛尺度”的短语抽取方法 　　 　　针对第1节论及的Och短语抽取方法的缺陷，我们的短语抽取主要分为2个部分：词对齐预处理和短语对抽取。在预处理阶段，我们设计了修正词对齐的算法来过滤错误的词对齐，提高词对齐的精确率；在短语对抽取过程中，对于那些能够用Och的方法抽取出对应的目标短语的源短语，就延用Och的方法；对于某些源短语，如果找不到与之相对齐的目标短语，则可以肯定有一些目标词对位到了这个源短语的外面，我们就根据不相容的英文词的数量和它的词性标注的不同情况来决定是否保留该目标短语，也就是松弛尺度的大小决定了该短语是否该保留。 　　 　　2．1 词对齐预处理 　　目前短语对抽取的技术大都是先生成词对齐后，然后在此基础上进行抽取，词对齐结果一般都用公开的工具包GIZA＋＋训练出来的，也就是说，对于训练语料，首先用GIZA＋＋训练得到中英和英中两个方向的词对齐，然后用Pharaoh的方法对这两个方向分别求“交”和“并”，并进行扩