融进词性信息内容的翻译机器科学研究.docVIP

融进词性信息内容的翻译机器科学研究 摘 要：作为自然语言处理研究的重要领域之一，机器翻译尤其是神经机器翻译有着诱人的研究前景。神经机器翻译(Neural machine translation，NMT)是最近几年提出的一种新的机器翻译方法，它使得使用简单的端到端的体系结构就能实现机器翻译成为可能。在神经机器翻译中，编码器-解码器(Encoder-Decoder)是最基础的框架模型，在机器翻译领域有着广阔的应用。在编码器-解码器模型中，编码器将输入的句子通过编码表示成固定长度的中间语义向量，解码器根据该中间语义向量和已经生成的句子信息来生成后续的翻译。 近年来，为了提高翻译的性能，学术界提出了各式各样的编码器-解码器结构，融入注意力机制的机器翻译模型是其中最引人入胜的一种。注意力机制是对经典编码器-解码器框架的完善，该机制允许在不考虑输入和输出序列中的距离的情况下对依赖关系进行建模。加入注意力机制后的模型在解码时只关注源语言句子中的一部分区域，从而增强长句子的表示能力，并通过动态地生成源语言信息，极大地提高了翻译性能，在神经机器翻译中有着举足轻重的地位。在基于注意力机制的神经机器翻译模型中，Transformer[1]是将注意力机制应用到极致的模型，Transformer模型通过自注意力机制捕获同一序列中任意两个词之间的语义依赖关系，极大的提高了神经机器翻译的性能。虽然Transformer模型的出现使得神经机器翻译的效果得到了飞跃，其模型中仍有很多方面有待改进，句法信息的缺失就是其中的一个方面。本文重点研究了在Transformer模型中融入源端的依存句法信息，并设计实验评估句法信息对其翻译效果的影响，实验结果显示改进后的模型在nist数据集上平均提高了0.67 BLEU，表明源端句法依存信息的融入极大的提高了Transformer模型的翻译性能。 关键词：机器翻译;依存树;句法信息;神经机器翻译;注意力机制 前 言 神经机器翻译(Neural machine translation，NMT)是最近几年提出的一种新的机器翻译方法，它使得通过使用简单的端到端的体系结构就能实现机器翻译，相比于先前的机器翻译方法，神经机器翻译得到了更好的结果，虽然现在的机器翻译的译文质量与专业翻译人员翻译的译文相比仍有较大差距，还不能满足人们的实际应用需求，但是在一些对译文质量要求不太高的情况下机器翻译有其明显的优势，比如机器翻译的速度之快是翻译人员所不能及的。神经机器翻译是当前自然语言处理和人工智能领域研究的热点之一。编码器-解码器(Encoder-Decoder)模型是神经机器翻译的经典框架，并且已经有很多种用于提高翻译性能的不同的方法被提出，它是一种较为通用的框架，可以由不同的神经网络实现，如循环神经网络(Recurrent Neural Network，RNN)，门限循环单元(Gated Recurrent Unit , GRU)、长短时记忆神经网络(Long Short-Term Memory Neural Network, LSTM)等。基于编码器-解码器框架的神经机器翻译模型的结构较为简单，仅能够捕获句子级的词语信息，尤其是对于长句子其限制更加明显，Attention机制是对经典神经机器翻译框架的完善，它允许在不考虑输入和输出序列中的距离的情况下对依赖关系进行建模，在解码时只关注源语言句子中的一部分区域，通过动态地生成源语言信息，极大地提高了翻译译文的质量，尤其是针对长句子的翻译其效果提高更为明显，现已成为神经机器翻译中不可或缺的一部分，Transformer是当前最有发展前景的模型之一，它可以利用自注意力机制捕获一个句子中任意两个词之间的语义依赖关系，获得了较好的翻译效果。 本文主要研究将句法信息融入到机器翻译模型中的方法，以Transformer模型为基础，通过对源语言构建依存树获取源语言句子中的句法依存关系，在Transformer模型基础上结合源端的依存关系指导，进行翻译训练。在相同的LDC语料库中文-英文训练数据集上的实验结果表明，基础的Transformer模型平均得到了42.00 的BLEU分数，融入源端依存句法相关信息之后的Transformer模型获得了平均为42.67 BLEU 分数，高出基础的Transformer模型0.67 BLEU，获得了很好的翻译结果。 第1章 绪 论 本章首先介绍了机器翻译的研究背景和研究意义，简单介绍了一些已经存在的神经机器翻译经典模型和句法信息的内容，其次简要概括了本文所做的主要研究工作，最后介绍了论文的组织形式和结构。 第1.1节 研究背景及意义 当今世界计算机信息技术日新月异，自然语言处理是计算机计科