Python自然语言处理 课件 电子10-3 -循环神经网络.pptx

Python自然语言处理第十章深度学习与自然语言处理课前回顾数据获取训练词向量测试循环神经网络简单RNNLSTM网络Attention机制0 3简单RNN 循环神经网络（Recurrent Neural Networks，简称RNN）：在原神经网络的基础上添加记忆单元 RNN对序列中的每个元素执行相同的运算，并且每个运算取决于先前的计算结果 RNN会记住到目前为止已计算过的所有信息。所以理论上，RNN可以使用任意长的序列信息 RNN的思想是利用顺序信息简单RNN RNN基本网络单元： 循环展开后示意图：简单RNN RNN细节示意图简单RNN? 参数说明：：t时刻的输入：t时刻隐藏状态f：激活函数U、V、W：网络参数，且RNN共享同一批网络参数g：激活函数简单RNN 按时间顺序计算前向传播（Forward Propagation） 将反向传播算法用于残差传输，在普通BP网络上添加了时间序列，称为BPTT（Back Propagation Through Time）算法简单RNN RNN变体长期短期记忆网络（Long Short Term Memory Networks，简称LSTM） 目标预测的点与其相关信息点之间的间隔较小，则RNN可以学习使用过去的信息例：预测“中国的首都是”的下一个词，直接使用“北京”，无需其他信息简单RNN 在大多数情况下，更多的上下文信息更有助于进行推断例