高教社2025人工智能与未来教学课件6.6扩展：机器翻译.pptxVIP

NaturalLanguageProcessing第6章自然语言处理2035陈勇斌

目录CONTENTS6.16.26.36.4自然语言处理那些事自然语言处理概述语音识别自然语言理解6.506语音合成6.6扩展：机器翻译

6.6.1机器翻译概述6.6.2神经机器翻译6.6.3编码器-解码器结构

6.6.1机器翻译概述机器翻译，又称为自动翻译，是利用计算机把一种自然语言转变为另一种自然语言的过程，一般指自然语言之间句子和全文的翻译。IBM英俄机器翻译系统

机器翻译发展历程

6.6.2神经机器翻译神经机器翻译是一种基于人工神经网络的机器翻译技术。通常由编码器和解码器两部分组成。翻译时，首先通过编码器将源语言句子编码成实数向量，然后解码器利用这个向量逐词生成译文。

6.6.2神经机器翻译编码器负责将源语言文本转换为中间表示，捕捉文本的语义和句法信息。编码器通常使用循环神经网络来逐词地处理源语言句子，最终生成一个固定长度的向量表示，也称为上下文向量或编码器隐藏状态。

6.6.2神经机器翻译解码器接收编码器的上下文向量和一个起始符号，然后生成目标语言翻译的句子。解码器也通常使用循环神经网络，它逐步生成目标语言的单词。在每个时间步骤上，解码器会根据前一个单词和当前的隐藏状态，预测下一个单词。

6.6.2神经机器翻译下面我们通过把前面的例子展开看一下神经机器翻译的工作过程

1.编码过程（1）编码器会顺序处理源语言单词，将每个单词都表示成一个实数向量（灰色方框）。（2）运行循环神经网络（蓝色方框代表一个时间步），在编码下一个时间步状态的时候，上一个时间步的隐藏状态会作为历史信息传入循环神经网络，句子中每个位置的信息都被向后传递。

1.编码过程（3）最后一个时间步的隐藏状态（白色方框）就包含了整个源语言句子的信息，也就得到了编码器的编码结果即源语言句子的“表示”。图中的eos代表结束符号。

（1）直接把源语言句子的“表示”作为输入的隐藏层状态，之后像编码器一样依次读入目标语言单词，这是一个标准的循环神经网络的执行过程。2.解码过程

（2）解码器会有一个输出层，根据当前时间步的隐藏层状态生成目标语言单词及其概率分布。图中解码器当前时刻的输出单词与下一个时刻的输入单词是一样的。2.解码过程

2.解码过程解码器也是一种循环神经网络，只不过它会从另外一种语言（源语言）获得一些信息，具体来说，当生成第一个单词“I”时，解码器利用了源语言句子表示（白色方框）和目标语言的起始符号sos。在生成第二个单词“am”时，解码器利用了上一个时间步的隐藏状态和已经生成的“I”的信息。这个过程会循环执行，直到生成完整的目标语言句子。

6.6.3编码器-解码器结构编码器-解码器是深度学习中的经典架构，专为序列到序列任务设计，如机器翻译、文本摘要和对话生成。其核心思想通过两个组件：编码器和解码器实现。编码器—解码器结构

6.6.3编码器-解码器结构（1）编码器将输入序列（如英文句子）压缩为固定长度的语义向量，捕捉关键信息；（2）解码器基于该向量逐步生成输出序列（如中文翻译）。编码器—解码器结构

6.6.3编码器-解码器结构传统编码器—解码器模型采用循环神经网络或长短期记忆网络（LongShort-TermMemory，LSTM），编码器逐词处理输入并更新隐藏状态，最终状态作为语义向量；解码器则以该向量为初始状态生成目标序列。由于传统编码器-解码器模型无法捕捉输入的每个单词的上下文信息，计算效率较低，性能无法满足需要。谷歌大脑（GoogleBrain）团队提出了一种全新的编码器-解码器架构：Transformer，通过引入自注意力机制，使得模型能够并行处理输入数据，提高了计算效率。

6.6.3编码器-解码器结构自Transformer出现以来，它在自然语言处理领域大放异彩，显著提升了各类任务的性能表现。紧接着，基于Transformer架构的BERT、GPT等预训练模型如雨后春笋般涌现，在计算机视觉、语音识别等人工智能领域，取得了令人瞩目的显著成果。

学习通讨论：对比常见语言，比如英语、汉语，小语种的机器翻译效果不好，原因是什么？主流语言（如汉语、英语）拥有海量的公开数据集，而小语种往往缺乏高质量的标注数据。模型学习依赖大量数据，得靠大量的数据来“喂饱”它，它才能好好干活。要是数据不够，这模型就跟没吃饱饭似的，干活都使不上劲，就会出现效果不好的情况。

ArtificialIntelligenceandFuture人工智能与未来2035主讲：陈勇斌