《循环神经网络》PPT课件.pptxVIP

第八章　循环神经网络8.1　循环神经网络的工作原理8.2　改进的循环神经网络8.3　深层循环神经网络8.4　双向循环神经网络of3118.5　循环神经网络的应用习题 序言　　下载提示：该课件是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。课件下载后可定制修改，请根据实际需要进行调整和使用，谢谢！　　Download reminder: This courseware is carefully compiled by this shop. I hope that after you download it, it can help you solve practical problems. The courseware can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! 8.1 循环神经网络的工作原理第八章 循环神经网络of313 循环神经网络（Recurrent Neural Network，RNN）是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不在无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。RNN模型的连接如图所示。1．循环神经网络的模型结构yVhUxWUnfoldyt-1VUxt-1ht-1WytxthtVUWWyt+1xt+1ht+1VUWRNN模型结构图 8.1 循环神经网络的工作原理第八章 循环神经网络of3141前向计算每个神经元的输出值。2反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数。3计算每个权重的梯度。 循环神经网络的工程原理或是工作过程其实就是循环神经网络的训练算法，一种基于时间的反向传播算法BPTT(Bach Propagation Through Time)。BPTT算法是针对循环层设计的训练算法，它的基本原理和反向传播BP（Back Propagation）算法是一样的，也包含同样的三个步骤。2．循环神经网络的基本工作原理 8.1 循环神经网络的工作原理第八章 循环神经网络of315?2．循环神经网络的基本工作原理?(8-1)(8-2)(8-3) 8.1 循环神经网络的工作原理第八章 循环神经网络of316?2．循环神经网络的基本工作原理?(8-4)(8-5) 8.1 循环神经网络的工作原理第八章 循环神经网络of317 循环神经网络中循环的意思就是同一网络结构不停的重复。相比普通的神经网络，循环神经网络的不同之处在于，隐层的神经元之间还有相互的连接，在隐层上增加了一个反馈连接，也就是说，RNN隐层当前时刻的输入有一部分是前一时刻隐层的输出，这使得RNN可以通过循环反馈连接保留前面所有时刻的信息，这赋予了RNN的记忆功能。这些特点使得RNN非常适合用于对时序信号的建模。3．循环神经网络的前向计算 整理一下可以写为：(8-6)(8-7)(8-8) 8.1 循环神经网络的工作原理第八章 循环神经网络of318 循环神经网络正向计算如图所示。3．循环神经网络的前向计算yt-1xt-1ht-1ytxt htztfV=[why]gU=[wh,h-1]W=[wxh]t-1t前向计算示意图 8.1 循环神经网络的工作原理第八章 循环神经网络of3193．循环神经网络的前向计算? 8.1 循环神经网络的工作原理第八章 循环神经网络of3110 BPTT算法将循环神经网络看作是一个展开的多层前馈网络，其中“每一层”对应循环网络中的“每个时刻”。这样，循环神经网络就可以按照前馈网络中的反向传播算法进行参数梯度计算。在“展开”的前馈网络中，所有层的参数是共享的，因此参数的真实梯度是所有“展开层”的参数梯度之和，其误差反向传播示意图如图所示。4．循环神经网络的梯度计算Lt-2ht-2xt-2Lt-1ht-1xt-1Lthtxt?t, t?t, t-1?t-1, t-1?t, t-2?t-1, t-2?t-2, t-2误差反向传播示意图 8.1 循环神经网络的工作原理第八章 循环神经网络of3111?4．循环神经网络的梯度计算 整个序列的损失函数 关于隐层间参数U的梯度为(8-9)(8-10)(8-11)?? 8.1 循环神经网络的工作原理第八章 循环神经网络of3112?4．循环神经网络的梯度计算?(8-12)(8-13) 8.1 循环神经网络的工作原理第八章 循环神经