LSTM-基本原理-前向传播与反向传播过程推导.pdfVIP

LSTM-基本原理-前向传播与反向传播过程推导 前⾔ 最近在实践中⽤到LSTM模型，⼀ 在查找相关资料，推导其前向传播、反向传播过程。 LSTM有很多变体，查到的资料的描述也略有差别，且有⼀些地⽅让我觉得有些困惑。⽬前查到的资料中我认为这个国外⼤神的博客写的⽐ 较清晰： 这个博客中的有些步骤有⼀定跳跃性，本⽂中的描述主要基于这篇博客中的实现过程进⾏更细致的推导，在此分享。本⼈能⼒有限，如果有 不妥当之处，欢迎⼤家交流、指正。 LSTM算法介绍 长短时记忆⽹络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经⽹络的缺陷，成为当前最流⾏的RNN，在 语⾳识别、图⽚描述、⾃然语⾔处理等许多领域中成功应⽤。 本⼈在应⽤⽅⾯也还没有太多涉猎，建议⼤家先看⼀下下⾯这篇经典博客 ： 不想看英⽂的可以看⼀下中⽂版 ： 基本⽹络结构前向传播 先附上LSTM整体结构图： 后⾯的所有推导都是基于这张图的结构。 LSTM中⽐较重要的改进是加⼊了细胞状态 : Ct代表t时刻的细胞状态。 下⾯具体展开写⼀下各部分结构 ： 输⼊以及门计算部分 上述公式中表⽰了LSTM的四个基本结构 ：