统计机器翻译中短语切分的新方法.pdfVIP

第 2 1 卷 　第 1 期 中文信息学报 Vol . 2 1 , No . 1 2007 年 1 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G J an . , 2007 文章编号 : (2007) 0 1008505 统计机器翻译中短语切分的新方法 1 ,2 1 1 何中军 ,刘 群 ,林守勋 ( 1. 中国科学院 计算技术研究所 ,北京 100080 ; 2 . 中国科学院 研究生院 ,北京 100039) 摘 　要 : 基于短语的统计机器翻译是 目前主流的一种统计机器翻译方法 ,但是 目前基于短语的翻译系统都没有对 短语切分作专门处理 ,认为一个句子的所有短语切分都是等概率的。本文提出了一种短语切分方法 ,将句子的短 语切分概率化 : 首先 ,识别出汉语语料库中所有出现次数大于 2 次的词语串 ,将其作为汉语短语 ; 其次 ,用最短路 径方法进行短语切分 ,并利用 Vit erbi 算法迭代统计短语的出现频率 。在 2005 年 863 汉英机器翻译评测测试集上 ( ) ( ) ( ) ( ) 的实验结果 BL EU4 是 : 0 . 1764 篇章 ,0 . 223 1 对话 。实验表明 ,对于长句子 如篇章 ,短语切分模型的加入有 助于提高翻译质量 , 比原来约提高了0 . 5 个百分点 。 关键词 : 人工智能 ;机器翻译 ;统计机器翻译 ;翻译模型 ;短语切分 中图分类号 : TP39 1 　　　　文献标识码 : A A Ne w Approach to Phrase Segmentation f or Statistical Machine Translation H E Zhongj un1 ,2 , L IU Qun1 , L IN Shouxun1 ( 1. In stit ut e of Comp uting Technolo gy , Chinese Academy of Sciences , Beij ing 100080 , China ; 2 . Graduat ed U niver sit y of Chinese Academy of Sciences , Beij ing 100039 , China) Abstract : Currently , Phra seba sed St ati stical Machine Tran slation i s t he st at eoft heart met ho d in SM T communi t y . However , none of t he p hra seba sed sy st ems ha s t he sp ecial module to deal wit h t he p hra se segment ation , t hey con sider all segment ation s of a sent ence wit h uniform di st ribution . In t hi s p ap er , we p ropo sed a p hra se segment ation met hod : Fir stly , find t he wor