自然语言处理基础及应用课件 (5).pptxVIP

高等学校自然语言处理课程教材（这里根据情况修改）自然语言处理基础应用李妍吕慧周庆国/主编李芬芳多拉/副主编

第5章序列到序列模型与注意力机制高等学校自然语言处理课程教材CONTENTS目录5.15.25.35.4序列到序列模型注意力机制TransformerTransformer模型的变体5.5本章小结

本章学习目标第5章序列到序列模型与注意力机制掌握序列到序列模型的基本原理及编程实现方法。了解注意力和注意力机制的概念、原理及可视化实现。掌握Transformer结构的组成及基本原理。掌握自注意力机制的核心思想及计算方法。了解位置编码和多头注意力机制的原理和必要性。了解Transformer模型的变体的主要内容。

5.1序列到序列模型机器翻译是利用算法将一种自然语言（源语言）转换为另一种自然语言（目标语言）的过程，也就是将一个输入序列转换为另一个序列输出。例如，中文输入为“我爱中国”，翻译后的英文输出为“ILoveChina”，很明显输入的中文长度为4，输出的英文长度为3。针对这种输入和输出序列长度不相同的情况，2014年约书亚·本希奥（YoshuaBengio）教授提出了编码器-解码器（encoder-decoder）结构。第5章序列到序列模型与注意力机制5.1.1编码器-解码器结构

5.1序列到序列模型编码和解码的思想一直贯穿于计算机中。计算机底层硬件表示的信息由0和1组成，从机器语言到高级编程语言的发展是为了便于人们与计算机交流，更好地应用计算机实现多样性的功能，其中将人类交流的语言文字映射为0、1的过程就是编码，而将0、1映射为语言文字的过程就是解码。与前面章节中的CNN、RNN算法不同，编码器-解码器是一种端到端的学习框架，编码器和解码器部分可以是任意的序列数据（如文字、语音、图像等），结构如图5-1所示。编码器接收长度可变的序列作为输入，然后将该序列编码为长度固定的向量表示形式，再通过解码器输出变长序列。第5章序列到序列模型与注意力机制5.1.1编码器-解码器结构

5.1序列到序列模型第5章序列到序列模型与注意力机制5.1.1编码器-解码器结构图5-1编码器-解码器结构

5.1序列到序列模型第5章序列到序列模型与注意力机制5.1.2基于循环神经网络的序列到序列模型编码器-解码器是一种学习框架，编码器和解码器部分可以采用CNN、RNN、LSTM等模型实现多种应用算法。模型结构如图5-2所示。通过比较图5-1和图5-2，读者会发现两幅图没有太大的区别，所以在这里说明一下，编码器-解码器强调的是模型设计结构，而Seq2Seq强调的是序列到序列这一类任务。图5-2Seq2Seq模型结构

5.1序列到序列模型第5章序列到序列模型与注意力机制5.1.2基于循环神经网络的序列到序列模型编码器-解码器是一种学习框架，编码器和解码器部分可以采用CNN、RNN、LSTM等模型实现多种应用算法。模型结构如图5-2所示。通过比较图5-1和图5-2，读者会发现两幅图没有太大的区别，所以在这里说明一下，编码器-解码器强调的是模型设计结构，而Seq2Seq强调的是序列到序列这一类任务。图5-2Seq2Seq模型结构

5.1序列到序列模型第9章预训练语言模型5.1.2基于循环神经网络的序列到序列模型在图5-2中，编码器按照顺序一个一个读取输入序列，并在每一次读取后更新其内部状态，当输入为序列结束标志EOS时，编码器停止读取输入序列，然后将输入序列编码为固定维度的向量表示并输入解码器中。解码器以序列开始标志BOS（beginningofsequence）为输入信号开始生成输出序列，不断地将前一时刻t?1的输出作为后一时刻t的输入，循环解码，直到输出EOS，标志着解码结束。此处要注意，编码向量只作为初始状态输入解码器中，不会作用于之后的时刻。

5.1序列到序列模型第5章序列到序列模型与注意力机制5.1.2基于循环神经网络的序列到序列模型编码器-解码器是一种学习框架，编码器和解码器部分可以采用CNN、RNN、LSTM等模型实现多种应用算法。模型结构如图5-2所示。通过比较图5-1和图5-2，读者会发现两幅图没有太大的区别，所以在这里说明一下，编码器-解码器强调的是模型设计结构，而Seq2Seq强调的是序列到序列这一类任务。图5-2Seq2Seq模型结构

5.1序列到序列模型第5章序列到序列模型与注意力机制5.1.2基于循环神经网络的序列到序列模型实际上论文中的编码器和