计机器翻译中短语切分的新方法.pdfVIP

06 第三届学生计算语言学研讨会 统计机器翻译中短语切分的新方法 1 1 1 何中军 ，刘群 ，林守勋 （1.中国科学院计算技术研究所，北京 100080） 摘 要： 基于短语的统计机器翻译是目前主流的一种统计机器翻译方法，但是目前基于短语 的翻译系统都没有对短语切分作专门处理，认为一个句子的所有短语切分都是等概率的。本文 提出了一种短语切分方法，将句子的短语切分概率化：首先，识别出汉语语料库中所有出现次 数大于 2 次的词语串，将其作为汉语短语；其次，用最短路径方法进行短语切分，并利用 Viterbi 算法迭代统计短语的出现频率。在 2005 年 863 汉英机器翻译评测测试集上的实验结果（bleu4 ） 是：0.1764 （篇章），0.2231 （对话）。实验表明，对于长句子（如篇章），短语切分模型的加入 有助于提高翻译质量，比原来约提高了 0.5 个百分点。 关键词： 统计机器翻译；翻译模型；短语切分 A New Approach to Phrase Segmentation for Statistical Machine Translation 1 1 1 Zhongjun He , Qun Liu , Shouxun Lin (1. Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China 100080) Abstract: Currently, Phrase-based Statistical Machine Translation is the state-of-the-art method in SMT community. However, none of the phrase-based systems has the special module to deal with the phrase segmentation, they consider all segmentations of a sentence with a uniform distribution. In this paper, we proposed a phrase segmentation method: Firstly, find the words strings occur more than twice in Chinese corpus, which are considered as Chinese phrases; Secondly, use the Shortest-Path method to do phrase segmentation, and employ Viterbi algorithm to train iteratively to gain the phrase probability. We do experiments on 2005 HTRDP (863) MT evaluation test set. Using the phrase segmentation model, the results (Bleu4) are: 0.1764 (writing) and 0.2231(dialog). Experiments show that the phrase segmentation model can 基金资助：国家863计划资助项目（2005AA114140），国家自然科学基金资助项目