基于投票平均的最小错误率训练算法.PDFVIP

基于投票平均的最小错误率训练算法* 王志洋,姜文斌, 吕雅娟,刘群 中国科学院计算技术研究所 智能信息处理重点实验室 北京 100190 E-mail: { wangzhiyang, jiangwenbin, lvyajuan, liuqun }@ 摘 要：最小错误率训练是统计机器翻译中标准的调参方法，但由于搜索过程中的贪婪特性，往往会导致结果不 稳定或陷入局部最优。本文提出投票平均方法来增强标准调参方法——通过翻译验证集，对训练过程的中间结果 进行投票平均，从而获得更稳定和准确的参数。在新闻和口语两个领域上的中文到英文翻译的实验表明，本方法 是有效的。 关键词：最小错误率训练；投票平均；验证集 Minimum Error Rate Training with Voted Average Algorithm Wang Zhiyang, Jiang Wenbin, Lü Yajuan, Liu Qun Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190 E-mail: { wangzhiyang, jiangwenbin, lvyajuan, liuqun }@ Abstract: Minimum error rate training (MERT) is a standard tuning parameter procedure in statistical machine translation. However, the greedy nature of its search process makes it unstable and apt to terminate at local optimum. In this paper we propose a novel strategy, voted average, to enhance the original MERT. By weightedly averaging the intermediate results of MERT according to their performance on another validate set; we obtain more stable and precise parameters. Experiments show that such a simple strategy is effective and efficient, obvious improvements are achieved in newswire domain and travel dialogue domain in Chinese-to-English translation tasks, with a little additional efforts. Keywords: Minimum error rate training; Voted average; Validate set 1. 引言 近年来, 随着对数线性模型(log-linear model)被引入到统计机器翻译(statistical machine translation, SMT)，翻译模型中可以添加更多的特征；这直接导致统计机器翻译领域的繁荣。 相应的，如何计算每个特征对系统的贡献的问题也随之而生。解决这一问题的标准方法是Och 在03 年提出的最小错误率训练方法(minimum error rate training, MERT)(Och, 2003)。 * 本文承自然科学基金项目(项目和国家863 重点项目(项目号No. 2006AA010108) 的资助。