2026《长短期记忆神经网络算法LSTM综述》1300字.docxVIP

PAGE

PAGE1

长短期记忆神经网络算法LSTM综述

1.1基础：循环神经网络RNN

最基础的多层感知器神经网络的结构，遵循Rumelhartetal.（1986）REF_Re\r\h[24]的设计，由输入层、隐藏层和输出层组成，但其连接权重的过程仅在层与层之间进行。RNN与最基础的神经网络的区别是：RNN在层内的神经元之间也具有权连接，使得上一时刻的输出作为下一时刻的部分输入，从而达到记忆传播的效果。其原理如：

xt+1xtht+1htOt+1

x

x

h

h

O

O

O

h

x

图2-1循环神经网络传递记忆的机制

其中，U、W、V分别是输入层到隐藏层、隐藏层之间、隐藏层到输出层的权重，不同时刻的网络共享同一套参数。xt表示t时刻的新输入，用于更新，ht?1表示t?1时刻隐藏层的状态，用于记忆，二者共同决定t时刻的

h

其中，Activation表示激活函数，其作用是对数据进行非线性处理，使得模型可以拟合非线性函数。RNN常用的激活函数包括：ReLU、Sigmoid、tanh等。其中Sigmoid容易出现梯度消失的问题，其将输入映射到(0,1)的范围内，多次映射小于1的导数值相乘，会使输出越来越逼近零，导致损失梯度消失、模型无法继续学习；tanh是双曲线正切函数，其输出以0为中心，在梯度消失方面比Sigmoid有所改进，故