(18)循环神经网络与lstm.docVIP

循环神经网络与LSTM 七月算法 寒老师 2016年7月3日 4月机器学习算法班 1 主要内容 n? 神经网络与循环神经网络 1.强大的功能 2.层级结构 3.多种RNN n? LSTM 1.长时依赖问题 2.“记忆细胞”与状态 n? LSTM变体 1.GRU等 4月机器学习算法班 循环神经网络与应用 o? 模仿论文(连公式都格式很正确) m 循环神经网络与应用 o? 模仿莎士比亚的作品 4月机器学习算法班 循环神经网络与应用 o? 模仿小四的作品 4月机器学习算法班 循环神经网络与应用 o? 看图说话 4月机器学习算法班 神经网络到循环神经网络 o? 我们知道神经网络结构如下 o? 那循环神经网络和它是什么关系呢？ 4月机器学习算法班 循环神经网络 o? 为什么有BP神经网络，CNN，还要RNN？ n? 传统神经网络(包括CNN)，输入和输出都是互相 独立的。 ?? 图像上的猫和狗是分隔开的，但有些任务， 后续的输出和之前的内容是相关的。 ?? “我是中国人，我的母语是___” n? RNN引入“记忆”的概念 ?? 循环2字来源于其每个元素都执行相同的任务。 ?? 但是输出依赖于 输入 和 “记忆” 4月机器学习算法班 循环神经网络之 结构 o? 简单来看，把序列按时间展开 4月机器学习算法班 循环神经网络之 结构 o? Xt是时间t处的输入 o? St是时间t处的“记忆”，St=f(UXt+WSt?1)，f可以是tanh等 o? Ot是时间t出的输出，比如是预测下个词的话，可能是 softmax输出的属于每个候选词的概率 4月机器学习算法班 循环神经网络之 结构细节 o? 可以把隐状态St视作“记忆体”，捕捉了之前时间点上 的信息。 o? 输出Ot由当前时间及之前所有的“记忆”共同计算得到。 o? 很可惜，实际应用中，St并不能捕捉和保留之前所有信 息（记忆有限？） o? 不同于CNN，这里的RNN其实整个神经网络都共享一组参 数（U,V,W），极大减小了需要训练和预估的参数量 o? 图中的Ot在有些任务下是不存在的，比如文本情感分析， 其实只需要最后的output结果就行 4月机器学习算法班 RNN模仿 贴吧留言 例子 4月机器学习算法班 RNN模仿贴吧留言例子 o? 详见ipython notebook 4月机器学习算法班 RNN模仿贴吧留言例子 o? 详见ipython notebook 4月机器学习算法班 不同类型的RNN o? 双向RNN o?有些情况下，当前的输出不只依赖于之前的序列元素， 还可能依赖之后的序列元素 o?比如从一段话踢掉部分词，让你补全 o?直观理解：2个RNN叠加 4月机器学习算法班 不同类型的RNN o? 深层双向RNN o?和双向RNN的区别是每一步/每个时间点我们设定多层 结构 4月机器学习算法班 循环神经网络之 LSTM o? 前面提到的RNN解决了，对之前的信息保存的问题 o? 但是！从在长期依赖的问题。 n? 看电影的时候，某些情节的推断需要依赖很久以前的 一些细节。 n? 很多其他的任务也一样。 n? 很可惜随着时间间隔不断增大时，RNN 会丧失学习到 连接如此远的信息的能力。 n? 也就是说，记忆容量有限，一本书从头到尾一字不漏 的去记，肯定离得越远的东西忘得越多。 n? 怎么办：LSTM 4月机器学习算法班 循环神经网络之 LSTM o? LSTM是RNN一种，大体结构几乎一样。区别是？ o?它的“记忆细胞”改造过。 o?该记的信息会一直传递，不该记的会被“门”截断。 4月机器学习算法班 循环神经网络之 LSTM o? 之前提到的RNN结构如下 4月机器学习算法班 循环神经网络之 LSTM o? 咱们把“记忆细胞”表示得炫酷一点 4月机器学习算法班 循环神经网络之 LSTM o? LSTM呢？ o?“记忆细胞”变得稍微复杂了一点点 4月机器学习算法班 循环神经网络之 LSTM o? 图太复杂，细节看不懂？别着急，我们解释解释。 4月机器学习算法班 循环神经网络之 LSTM o? LSTM关键：“细胞状态” o?细胞状态类似于传送带。直接在整个链上运行，只有一些 少量的线性交互。信息在上面流传保持不变会很容易。 4月机器学习算法班 循环神经网络之 LSTM o? LSTM怎么控制“细胞状态”？ o?通过“门”让信息选择性通过，来去除或者增加信息到细胞状态 o?包含一个sigmoid神经网络层 和 一个pointwise乘法操作 o?Sigmoid 层输出0到1之间的概率值，描述每个部分有多少量可以通过。 0代表“不许任何量通过”，1就指“允许任意量通过” 4月机器学习算法班 LSTM的几个关键“门”与操作 o? 第1步：决定从“细胞状态