原创力文档- 1、本文档共47页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
01;;1.1、前馈神经网络的限制;1.2、RNN的意义;;2.1、序列;语音识别：;2.2、RNN的结构和原理; 按时间线将RNN展开就得到了下图结构。
可以将RNN看作不同时刻共享权值的前馈神经网络，通过上一时刻隐藏层连接到下一时刻隐藏层的边连接不同时刻的前馈神经网络。; 在时刻t，隐藏层h接收来自两方面的输入，分别为网络前一时刻的隐藏层输出值ht－1和当前的输入层输入数据xt，以此来计算当前时刻的隐藏层的输出值ht。t-1时刻的输入xt－1可以在之后通过循环结构影响t时刻的输出。ht和ot的计算如下：; ;2.3、RNN存在的问题;RNN常用的两种激活函数sigmoid()和tanh()。;RNN常用的两种激活函数sigmoid()和tanh()。;则t时刻，损失函数为;;对于梯度爆炸问题，在RNN中出现的情况更少，且当出现梯度爆炸时，有一些方法可以缓解，比如设置一个梯度阈值，当梯度超过这个阈值时，直接截断。
对于梯度消失问题，只是前面时刻的梯度消失了，当前时刻整体的梯度并不会消失，因为它是求和的过程。因此一般指的RNN的梯度消失是指当下梯度的更新用不到前面的梯度了，即梯度被近距离梯度主导，导致模型难以学到远距离的依赖关系。
因此RNN实际应用过程中只具有短期记忆（训练后的权重更偏向于最近的输入）。
;短期记忆举例：随着输入序列长度的逐渐增加，t时刻网络中隐藏的最前面的输入信息越来越少。;RNN的另一个问题：输入和输出权值冲突;RNN总结;;3.1解决RNN缺陷的原理;常数误差流（ConstantErrorCarousel）;?; 输入门的值是由sigmoid根据上一时刻状态和输入生成的0-1之间的数，用于判断输入信息的重要程度，1表示重要，0表示不重要。用它的值乘以输入信息表示输入信息存入长期状态的程度。
输出门也是由sigmoid根据上一时刻状态和输入生成的0-1之间的数，用于判断长期状态信息的重要程度。用它的值乘以输出信息表示输出的程度。
;遗忘门;3.2LSTM结构;3.2LSTM结构;遗忘门f：控制长期状态遗忘一些不重要的信息。;输入门i：控制重要信息添加到长期状态中。;接着是ct-1更新为ct。;输出门o：控制长期状态中信息的输出程度。;3.2LSTM总结;;4.1GRU; 可以看到GRU中只有一个状态h，既??示长期状态也表示隐藏层输出。
同时也只剩下两个门控，r表示重置门，z表示更新门。
;?;?;4.1GRU总结;4.2BRNN/BLSTM;;;5、RNN的应用场景;one-to-n;n-to-one;n-to-m;n-to-n
文档评论（0）