《深度学习 》课件 第4章-循环神经网络.pptxVIP

4循环神经网络

①循环神经网络结构

②循环神经网络的训练

③双向循环神经网络与深度循环神经网络

④长短期记忆网络

⑤门控循环单元

6递归神经网络

⑦双向长短期记忆网络与双向门控循环单元

目录水CONTENTS

循环神经网络(recurrentneuralnetworks,RNN)是深度学习中的一个重要分支，它

处理历史数据和对记忆进行建模，并随时间动态调整自身的状态，通常适用于处理时间、空间序列上有强关联的信息。从生物神经学角度，循环神经网络可以认为是对生物神经系统环式链接(recurrentconnection)的简单模拟，而这种环式链接在新大脑皮质中是普遍存在的。循环神经网络求解损失函数的参数梯度有很多种算法，其中常用的是时间反向传播算法(backpropagationthroughtime,BPTT)。梯度传递过程会引起梯度消失(gradientvanish)或者梯度爆炸(gradientexplosion)的问题。

针对循环神经网络模型基本结构对长序列数据的记忆能力不强，并且当序列信号在网络

中多次传递后，有可能引起梯度问题。学者们提出了长短期记忆(longshort-term