概述循环神经网络佟磊50课件讲解.pptxVIP

概述循环神经网络主讲教师：佟磊

循环神经网络概念0203RNN模型训练双向和多层RNN结构01LSTM和Seq2Seq0405本讲小结

0101循环神经网络概念

循环神经网络概念循环神经网络（RecurrentNeuralNetwork，RNN）是一种特殊的神经网络结构，根据“人的认知是基于过往的经验和记忆”这一观点提出。RNN的研究始于二十世纪80-90年代，常见的RNN有双向循环神经网络（BidirectionalRNN，Bi-RNN）和长短期记忆网络（LongShort-TermMemorynetworks，LSTM）。RNN适用于处理视频、语音、文本等与时序相关的问题。常见的应用领域有文本生成、语言模型、图像处理、机器翻译、语音识别等。

02RNN模型训练02

RNN模型训练当依次输入“我”“想”“外出”“旅游”时，RNN的输入、输出如图所示，其中S和E是两个特殊的词，分别表示序列的开始与结束。

RNN模型训练?

RNN模型训练?

RNN模型训练RNN中的权重矩阵U、W、V是未知参数，这几个参数需要通过模型训练获得。模型训练的过程如下。加载一个大的文本语料库。将语料库放到RNN语言模型中，计算每个时刻t的输出。计算损失函数。反向传播用于RNN，计算函数的导数。

03双向和多层RNN结构03

双向和多层RNN结构双向RNN是由两个RNN上下叠加在一起组成，输出由两个RNN的隐藏层的状态决定。其结构如图所示。

双向和多层RNN结构多层RNN有更强大的表达与学习能力，但复杂性也提高了，同时需要更多的训练数据。如一个三层RNN结构如图所示。

04LSTM和Seq2Seq04

LSTM和Seq2SeqLSTM属于RNN的一种变种，对其网络结构进行了改进，具备避免梯度消失的特性，从而让RNN网络自身具备处理长期序列依赖的能力

LSTM和Seq2SeqLSTM网络通过梯度剪裁技术克服梯度爆炸问题，当计算的梯度超过阈值c或者小于阈值-c的时候，便将此时的梯度设置成c或-c。3个神经网络的LSTM内部结构如图所示。

LSTM和Seq2SeqSeq2Seq模型是由GoogleBrain和YoshuaBengio两个团队在2014年各自独立提出来的模型结构，主要解决机器翻译问题。最基础的Seq2Seq模型包含了3个部分，即编码器（Encoder）、解码器（Decoder）和连接两者的中间状态向量C，如图所示。

04本讲小结04

本讲小结本节主要介绍了循环神经网络（RNN）的训练方法、结构以及RNN的变种网络。首先介绍了循环神经网络的基本概念以及训练方法。其次讲解了RNN的结构。最后介绍了RNN的变种网络LSTM和Seq2Seq。

概述循环神经网络主讲教师：佟磊