自然语言处理基础及应用课件 (4).pptxVIP

高等学校自然语言处理课程教材（这里根据情况修改）自然语言处理基础应用李妍吕慧周庆国/主编李芬芳多拉/副主编

第4章循环神经网络高等学校自然语言处理课程教材CONTENTS目录4.4循环神经网络概述RNN模型基于门控的RNN实验：基于THUCNews新闻标题据数集的文本分类任务

本章学习目标第4章循环神经网络了解RNN的基本概念，以及简单RNN的发展过程；了解RNN的三种模式，以及这些模式的应用场景；了解基于门控的RNN，主要学习LSTM和GRU；掌握利用PyTorch开发环境搭建基于LSTM模型和GRU模型的网络，并编程实现简单的文本生成任务；熟练掌握采用RNN的方法解决NLP各类问题的具体流程和注意事项。

4.1循环神经网络概述循环神经网络（RecurrentNeuralNetwork,RNN）是一种具有短期记忆能力的网络，开始于20世纪80-90年代，在本世纪初发展为深度学习算法之一。与前馈神经网络相比，RNN更加符合生物神经网络的结构，已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。图4-1RNN单元结构第4章循环神经网络

第4章循环神经网络高等学校自然语言处理课程教材CONTENTS目录4.4循环神经网络概述RNN模型基于门控的RNN实验：基于THUCNews新闻标题据数集的文本分类任务

4.2RNN模型SRN又称为Elmannetwork，是由JeffElman在1990年提出来的，是在Jordannetwork（1986）的基础上进行了创新，简化了Jordannetwork的结构，Jordannetwork网络只有一个隐藏层。在一个两层的前馈神经网络中，只有相邻的层与层之间存在连接，隐藏层的节点之间无连接。ElmanNetwork是在JordanNetwork的基础上增加了从隐藏层到隐藏层的反馈连接。4.2.1简单循环神经网络（SRN）图4-2ElmanNetwork网络结构图4-3JordanNetwork网络结构第4章循环神经网络

4.2RNN模型RNN应用范围较广，很多不同类型的机器学习任务都可以通过RNN进行实现。随着深度学习技术的不断发展，人们按照不同任务的特点，将RNN划分为以下几种模式：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。4.2.2RNN的三种模式第4章循环神经网络

4.2RNN模型1、序列到类别模式4.2.2RNN的三种模式?图4-5序列到类别模式第4章循环神经网络

4.2RNN模型2、同步的序列到序列模式4.2.2RNN的三种模式?图4-7同步的序列到序列模式第4章循环神经网络

4.2RNN模型3、异步的序列到序列模式4.2.2RNN的三种模式?图4-9异步的序列到序列模式第4章循环神经网络

第4章循环神经网络高等学校自然语言处理课程教材CONTENTS目录4.4循环神经网络概述RNN模型基于门控的RNN实验：基于THUCNews新闻标题据数集的文本分类任务

4.3基于门控的RNN门控机制为了改善RNN的长程依赖问题，人们进行了相关研究。主要有两种方法：（1）选取合适的参数，同时使用非饱和的激活函数，这类方法主要依赖于人工调参，限制了模型的广泛应用。（2）改进模型或者优化方法来缓解循环网络的梯度消失和梯度爆炸问题。门控机制：在数字电路中，门（gate）定义为一个二值变量{0，1}，“0”代表关闭状态，即不允许信息通过，“1”代表开放状态，允许所有信息通过。门控机制可以有选择地保留和丢弃一些信息，这使得门控RNN可以学习跨度相对较长的依赖关系，同时有效避免梯度消失和梯度爆炸问题。典型的门控RNN：LSTM和GRU。第4章循环神经网络

4.3基于门控的RNN4.3.1LSTM?第4章循环神经网络??

4.3基于门控的RNN4.3.1LSTM第4章循环神经网络图4-11LSTM的循环单元结构

4.3基于门控的RNN第一种改进：无遗忘门的LSTM。LSTM最初被提出时，没有引入遗忘门的概念，则其内部状态的更新为：4.3.2LSTM的各种变体?第4章循环神经网络第二种改进：peephole连接。基于“门”的第二种改进是：在遗忘门，输入门，输出门这3个门的计算过程中加入了对上一个时刻记忆单元c_(t-1)的依赖。即：????

4.3基于门控的RNN?4.3.2LSTM的各种变体第4章循环神经网络?

4.3基于门控的RNNBiLSTM是由前向LSTM与后向LSTM组合而成，输出状态由这两个LSTM的状态共同决定，图4-13为BiLSTM在情感分类任务中