《人工神经网络设计 》 课件 第6章 长短期记忆网络.pptx

人工神经网络设计06长短期记忆网络

目录递归神经网络的挑战0102长短期记忆神经网络结构及工作原理03超参数对长短期记忆神经网络性能影响04长短期记忆神经网络超参数优化方法05应用实例：电力负荷预测

01递归神经网络的挑战前馈神经网络(FeedforwardNeuralNetwork,FNN)是一种由多个神经元层次组成的网络结构，其中信息从输入层逐层传递到各隐含层，最终到达输出层。该网络的处理过程具有明确的方向性，在这种结构中，除输出层外，每一层的输出都会作为下一层的输入。?前馈神经网络图6-1单层前馈神经网络图6-2多层前馈神经网络3

01递归神经网络的挑战递归神经网络(RecurrentNeuralNetworks,RNN)，也称反馈神经网络或循环神经网络。与前馈神经网络不同，递归神经网络中至少存在一个反馈环路。递归神经网络既包含前馈连接，又具有反馈连接。这种结构使得网络能够对之前输入的信息进行记忆，并将其应用于当前输出的计算中，从而保持数据中的依赖关系。?递归神经网络图6-3递归神经网络工作原理4

01递归神经网络的挑战RNN的关键点之一就是他们可以用来连接先前的信息到当前的任务上，当预测下一时刻的输出时，有时需要依赖于若干个时间步之前的输入信息，即“长期依赖现象”。?长期依赖现象图6-4递归神经网络长期依赖现象5

01递归神经网络的挑战反馈结构的引入使得递归神经网络在处理长时间序列时，需要反复进行相同的计算，并且由于参数共享，这种结构容易导致梯度消失或者梯度爆炸，使得学习长期依赖关系变得极具挑战，即“长期依赖问题”。?长期依赖问题产生原因图6-5递归神经网络长期依赖问题6

01递归神经网络的挑战为了解决上述问题，多种递归神经网络架构被提出。下面的几种网络结构主要是对递归神经网络中的参数传递机制进行优化，减少冗余信息记忆带来的问题。?长期依赖问题解决方案设定循环的隐藏层单元:回声状态网络（EchoStateNetwork,ESN），液态状态机（LiquidStateMachine,LSM）多个时间尺度的模型：在时间展开方向增加跳跃连接、渗漏单元使用不同时间常数去处理信息门控RNN(gatedRNN):长短期记忆网络（Longshort-termmemory,LSTM），门控循环单元（Gatedrecurrentunit）7

01递归神经网络的挑战Bengio等人提出标准RNN存在梯度消失和梯度爆炸的困扰。这两个问题都是由于RNN的迭代性引起的，导致其在早期并没有得到广泛的应用。随时间反向传播(Backpropagationthroughtime,BPTT)算法，假设对于序列通过将上一时刻的状态映射到下一时刻的状态。T时刻损失函数关于参数的梯度为：根据链式法则。Jacobian矩阵分解如下：?梯度消失和梯度爆炸(6-1)(6-2)8

01递归神经网络的挑战循环网络若要可靠地存储信息，＜1，也意味着当模型能够保持长距离依赖时，其本身也处于梯度消失的情况下。随着时间跨度增加，梯度也会以指数级收敛于0。当＞1时，将发生梯度爆炸的现象，网络也陷入局部不稳定。?梯度消失和梯度爆炸图6-6梯度爆炸示例图6-7梯度消失示例9

02长短期记忆神经网络结构及工作原理RNN的结构按时间步长展开，如下图所示。RNN通过延迟递归使每个状态都能传输并连接到下一个隐藏状态，并根据当前输入和前一状态计算输出。隐藏状态和输出可定义为：式中，是时刻的输入向量；和是偏置项；是非线性激活函数；，和分别是输入向量、隐藏状态向量和输出向量的连接权重。?标准RNN网络结构(6-3)(6-4)图6-8RNN的结构按时间步展开10

02长短期记忆神经网络结构及工作原理LSTM神经网络是标准RNN的一个变体。不同的是，LSTM神经网络将RNN中的基本单元替换为LSTM单元，可以更好地处理长期依赖的梯度消失和梯度爆炸问题。基本LSTM单元的结构如下图所示。基本的LSTM单元通常包含三个输入，分别是前一时刻的单元状态、前一时刻的隐藏状态和当前时刻的输入向量。?LSTM网络结构图6-9LSTM网络结构图11

02长短期记忆神经网络结构及工作原理?LSTM网络门控机制①遗忘门②输入门③细胞状态更新④输出门(6-6)(6-5)(6-7)(6-8)(6-10)(6-9)(6-11)12

02长短期记忆神经网络结构及工作原理?例6-1假设当前时刻的输入