神经机器翻译中英语单词及其大小写联合预测模型.PDFVIP

神经机器翻译中英语单词及其大小写联合预测模型 1* 2,3 1 4 张楠 ，李响 ，靳晓宁 ，陈伟 （1. 北京工业大学 北京未来网络科技高精尖创新中心，北京 100124； 2. 中国科学院 计算技术研究所，北京 100190； 3. 中国科学院大学，北京 100049； 4. 北京搜狗科技发展有限公司，北京 100084） 摘要：英文中单词有大小写之分，如果使用不规范，会降低语句的可读性，甚至造成语义上的根本变化。 当前的机器翻译处理流程一般先翻译生成小写的英文译文，再采用独立的大小写恢复工具进行还原，这种 方式步骤繁琐且没有考虑上下文信息。另一种方式是抽取包含大小写的词表，但这种方式扩大了词表，增 加了模型参数。本文提出了一种在神经机器翻译训练中联合预测英语单词及其大小写属性的方法，在同一 个解码器输出层分别预测单词及其大小写属性，预测大小写时充分考虑源端语料和目标端语料上下文信息。 该方法不仅减小了词表的大小和模型参数，翻译译文的质量也得到提升。在WMT 2017 汉英新闻翻译任务测 试集上，相比基线实验，我们提出的方法在大小写敏感和大小写不敏感两个评价指标上分别提高0.97 BLEU 和1.01 BLEU，改善了神经机器翻译模型的性能。 关键词：机器翻译；大小写恢复；联合预测 Joint Prediction Model of English Words and Their Cases in Neural Machine Translation 1 2,3 1 4 Nan Zhang ，Xiang Li ，Xiaoning Jin ，Wei Chen （1. Beijing Advanced Innovation Center for Future Internet Technology, Beijing University of Technology, Beijing 100124 China； 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190 China ； 3. University of Chinese Academy of Sciences, Beijing 100049 China; 4. Sogou Inc, Beijing, 100084 China） Abstract: In English, words are case-sensitive. If the form of words is not standardized, it will reduce the readability of the article, and even cause a fundamental change in semantics. The current machine translation process is generally translated into lowercase English words, and then uses an independent case-recovery tool to restore. This method is cumbersome and does not consider contextual information. Another solution, the words list include uppercase and