层次短语翻译神经网络调序模型.pdfVIP

—ISSN 10— 00-0054 清华大学学报 (自然科学版)2014年第54卷第12期 4／2O CN 11-2223／N JTsinghuaUniv(Sci8LTechno1)，2014，Vo1．54，No．12 1529—1533 层次短语翻译的神经网络调序模型 李 鹏 ， 刘 洋， 孙茂松 (清华大学 计算机科学与技术系，智能技术与系统 国家重点实验室 ，清华信息科学与技术 国家实验室(筹)，北京 100084) 摘 要 ：调序歧义是层次短语翻译模型面临的主要挑战之 层次短语翻译模 型l1 是一类被广泛使用 的统 一 ， 但在该类模型中使用的上下文信息非常有限，制约了该 计机器翻译模型 。该类模型基于同步上下文无关文 类模 型处理调序歧义 的能力 。为 了更充分地利用上下文信 法进行翻译 。虽然上下文信息对于缓解调序歧义和 息，提 出了一种面 向层次短语翻译模型的神经网络调序模 提高模型的调序能力具有重要作用 ，但受制于同步 型。该模型将调序看作分类问题，首先使用递归 自动编码器 上下文无关文法的约束 ，该类模型中只使用 了有限 为任意长度的字符串计算向量表示，然后使用这些向量表示 的上下文信息，需要 引入更丰富的上下文信息 以提 作为分类特征，用于预测不 同调序方式的概率，最后将这些 高模型调序能力。 概率作为新 的特征加入翻译模型 中进行翻译。实验结果显 将调序看作分类 问题并通过分类特征引入更多 示 ：在 中一英翻译任务上，该模型相 比基线系统获得 了0．3～ 上下文信息是一种行之有效的方法 。文[3]为每一 0．8的BLEU值提升 ，具有更好的调序能力。 种可能的源语言串构建最大熵分类器 ，用于规则选 关键词 ：计算机科学与技术 ；神经网络；调序模型；递 归 自 择。文E4-1在此基础上 ，按照源语言串是否包含变量 动编码器 ；层次短语翻译模型 和变量相对于其他字符串的位置对源语言串划分模 中图分类号 ：TP391．2 文献标志码 ：A 式 ，并为每一种模式建立最大熵分类器 ，用于预测对 文章编号 ：i000—0054(2014)12-1529—05 应的 目标语言串模式 ，有效减少 了分类器数量 ，获得 了翻译效果的提升。文[5—8]等验证了该类方法在 其他基于同步上下文无关文法 的翻译模型上 的有 效性。 但在 以上方法 中如何选取特征仍然是一个挑 战。对于任意给定的字符 串，哪些字 、词或词组对于 调序问题而言是更好的特征并不是显而易见 的，因 而只能根据经验进行人工选择 。已有工作中通常采