22.RNN算法和双向RNNPPT课件.pptVIP

深度学习RNN算法和双向RNN

基础理论01

回顾BP神经网络BP神经网络能学习和存贮大量的输入-输出模式映射关系。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和偏执，使网络的误差平方和最小。01

RNN介绍为什么有BP神经网络、CNN，还需要RNN?BP神经网络和卷积神经网络，这两种结构有一个特点，就是假设输入是一个独立的没有上下文联系的单位，比如输入是一张图片，网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入，比如预测视频中下一帧的播放内容，那么很明显这样的输出必须依赖以前的输入，也就是说网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力，一种特殊结构的神经网络——递归神经网络(RecurrentNeuralNetwork)便产生了。02

应用场景自然语言处理(NLP)机器翻译量化投资语音识别电话客服预测图像描述生成文本相似度计算等03图片来源于网络

RNN的层次结构层次结构04

层次结构展开将序列按时间展开就可以得到RNN的结构Xt是时间t处的输入St是时间t处的“记忆”Ot是时间t处的输出05

层次结构说明网络某一时刻的输入xt，和之前介绍的bp神经网络的输入一样，对于自然语言处理：每一个xt将代表一个词向量，一整个序列就代表一句话。语音处理：xt将代表每帧的声音信号时间序列问题：xt将代表每天的股票价格ht代表时刻t的隐藏状态ot代表时刻t的输出输入层到隐藏层之间的权重由U表示，它将我们的原始输入进行抽象作为隐藏层的输入隐藏层到隐藏层的权重W，它是网络的记忆控制者，负责调度记忆。隐藏层到输出层的权重V，从隐藏层学习到的表示将通过它再一次抽象，并作为最终输出。06

双向RNN02

RNN正向传播（2）以此类推，可得其中f可以是tanh,relu,logistic等激活函数，g通常是softmax也可以是其他。

值得注意的是，我们说递归神经网络拥有记忆能力，而这种能力就是通过W将以往的输入状态进行总结，而作为下次输入的辅助。可以这样理解隐藏状态：h=f(现有的输入+过去记忆总结)01

RNN反向传播（1）BP神经网络用到的误差反向传播方法将输出层的误差总和，对各个权重的梯度?U,?V,?W，求偏导数，然后利用梯度下降法更新各个权重。对于每一时刻t的RNN网络，网络的输出ot都会产生一定误差et，误差的损失函数，可以是交叉熵也可以是平方误差等等。那么总的误差为E=∑tet，我们的目标就是要求取02

RNN反向传播（1）对于时刻t+1产生的误差et+1，我们想计算它对于W1,W2,....,Wt，Wt+1的梯度，可以如下计算：反复运用链式法则，我们可以求出每一个?W1,?W2,....,?Wt，?Wt+1，在不同时刻都是共享同样的参数，这样可以大大减少训练参数，和CNN的共享权重类似。03

双向RNN（1）BidirectionalRNN(双向RNN)假设当前t的输出不仅仅和之前的序列有关，并且还与之后的序列有关，例如：预测一个语句中缺失的词语那么需要根据上下文进行预测；BidirectionalRNN是一个相对简单的RNNs，由两个RNNs上下叠加在一起组成。输出由这两个RNNs的隐藏层的状态决定。04

双向RNN（2）双向RNN可以简单的理解为两个相反样本的RNN，y0表示是结果合并。05

深度双向RNNDeepBidirectionalRNN(深度双向RNN)类似BidirectionalRNN，区别在于每个每一步的输入有多层网络，这样的话该网络便具有更加强大的表达能力和学习能力，但是复杂性也提高了，同时需要训练更多的数据。06