神经网络理论及应用实践 课件 8.3 长短时记忆网络.pptxVIP

高超北京工商大学计算机与人工智能学院神经网络理论及应用：长短时记忆网络

长短时记忆网络(LSTM)2026/10/11BTBU-CIE2梯度消失：RNN表示长期依赖时，相对于短期相互作用的梯度幅值，长期相互作用的梯度幅值就会变得指数小，导致较长的记忆无法产生作用。解决方案：对RNN的隐藏单元进行改造，并引入门控，保留有用的记忆信息，截断无用的记忆信息，即为长短时记忆网络(LSTM)

长短时记忆网络(LSTM)2026/10/11BTBU-CIE31.标准的长短时记忆网络2.长短时记忆网络的变体(门控循环单元，GRU)

标准的长短时记忆网络2026/10/11BTBU-CIE4输入门：输入到细胞之间，控制输入权重遗忘门：细胞内部，控制遗忘权重输出门：细胞到输出之间，控制输出权重

标准的长短时记忆网络2026/10/11BTBU-CIE5

标准的长短时记忆网络2026/10/11BTBU-CIE6LSTM关键要素：细胞状态，其类似于传送带，直接在整个链上运行，只有一些少量的线性交互。

标准的长短时记忆网络2026/10/11BTBU-CIE7细胞状态控制方式：门控，包括一个sigmoid神经网络层和一个乘法操作Sigmoid：输出0~1之间的概率值，0表示不允许任何量通过，1表示允许任意量通过

标准的长短时记忆网络2026/10/11BTBU-CIE8遗忘门：决定从