18基于翻译日志的统计机器翻译模型剪枝.pdfVIP

网络出版地址：/kcms/detail/11.2442.N1123.007.html 北京大学学报 ( 自然科学版) Acta Scientiarum Naturalium Universitatis Pekinensis doi: 10.13209/j.0479-8023.2014.019 基于翻译日志的统计机器翻译模型剪枝 1 1 1 1,2,† 刘凯 吕雅娟 姜文斌 刘群 1. 中国科学院大学计算技术研究所,北京 100190; 2. 都柏林城市大学 ,都柏林爱尔兰 ; † 通信作者 , E-mail: liuqun@ 摘要 提出一种基于翻译日志的统计机器翻译模型的剪枝方法。该方法利用翻译规则, 在翻译日志中的命中 频数对机器翻译规则进行过滤 , 保留当前机器翻译模型所需的最小的规则表。实验表明 , 该方法能够在仅保 留原有模型 1%~3%翻译规则的前提下达到原有模型的翻译效果。 关键词 统计机器翻译;模型剪枝 ;翻译日志 中图分类号 TP391 Statistical Machine Translation Model Pruning based on Translation Log 1 1 1 1,2,† LIU Kai , LÜ Yajuan , JIANG Wenbin , LIU Qun 1.Institute of Computing Technology,University ofChinese Academy of Sciences, Beijing 100190; 2.Dublin City University (DCU), Dublin, Ireland; † Corresponding author, E-mail: liuqun@ Abstract The authors propose a novel translation log based translation rule pruning method, which prunes translation rulesaccording to the translation rule hit counts pairs.Experiment results show thatthe proposed method requires only 1%~3% translation rules without significantly difference compared to the full model. Key words statistical machine translation; model pruning; translation log 目前基于统计的机器翻译方法中, 所使用的翻 Quirk 等[1]认为只抽取最小的短语片段并不会损 译模型一般十分庞大 , 需要较为大型的设备来提供 害太多翻译质量, 从而达到减小翻译模型的目的。 存储和计算支持。较大的模型意味着较高的翻译服 Johnson 等 [2] 的工作利用显著性检验去除一些不太