《人工神经网络：模型、算法及应用》- 课件-第10、11章-长短时记忆网络、 模糊神经网络.pptx

人工神经网络： 模型、算法及应用;2;3;4;10.1 长短时记忆网络的概念 ;6;长短时记忆网络（LSTM）是时间递归神经网络的一种改进模型，因此我们先描述时间递归神经网络模型的结构和相关基础知识。 在神经网络领域中，RNN与多层感知机（Multilayer Perceptron，MLP）相比，虽然在其结构上只有细微的变化，但RNN对序列学习的影响却是非常深远的。 在实际应用中，当有足够数量的隐含层神经元时，RNN可以逼近任何可测量的序列映射到序列的任意精度，效果等同于MLP的全局逼近结果，其关键在于RNN隐含层之间的循环连接保存了先前网络结构的内部状态，可影响网络每个时刻的输出。;RNN是随时间运作，且层与层之间为全连接的网络模型。以单个自反馈隐含层的简单RNN为例，RNN沿时间轴展开的结构如图所示。;RNN的前向传播过程：;在前向传播计算得到损失函数后，需要对模型的权值参数进行调整，随时间反向传播，根据时间反向传播算法（Back Propagation Through Time，BPTT）迭代优化调整权值参数。 首先利用链式法则，计算损失函数对权值的偏导，将一定比例的误差分配给每个权值，并按照时间序列进行有序的计算。 在求得各网络层之间的局部梯度后，可选择SGD、Momentum、Adam等优化算法更新各网络层之间的参数，进行迭代，直到非常逼近目标输出或达到迭代上限，完成