RNN+LSTM学习资料课件.pptx

1-

做预测不只依赖于input，还依赖于之前的一部分信息，会把它存在memory变更的只是输入或者memory自然语言处理任务中，输入和输出之间不独立有些任务用人工神经网络、CNN解决不了2-

RNN的结构为了体现RNN的循环性，可以将多层fold起来，每个部分看做一个cell，处理过程一模一样，3-

我是中国人背景：要完成一个任务(Languagemodel)：一句话知道出现的若干个词情况下，出现下一个词会出现什么。（有一个序列，在这个序列前n个element知道情况下去推断下一个element） 是中国人序列在当前step的输入4-

矩阵St维度容量有限，文本分类，在当前任何部分都可以做总结，输出结果，但是不一定准确。任务是需要看完整个文本给出一个结果。5-

两个memory做拼接不一样的W和V让它捕捉更多信息6-

Deep：五年级的知识变难了，一周内掌握不了→多思考一下T-1TT+1T+2数列三角函数解析几何排列组合做完三轮复习的知识解这道题同一章前一轮复习同一轮复习前一章7-

BPTT(BackPropagation?Through?Time)基于时间的反向传播（调参）8-

Softmax的分类器预测4W个词中的哪一个每一个时间点都有一个输出每个输出都可以去计算loss完成整个句子预测：沿着时间轴把每个位置的loss加在一起梯度下降，使loss值最小要求我们去求lossfunction对于W的偏导交叉熵损失crossentropyloss求偏导的过程在这一层完成不了，必须用BPTT，不能用BPBPTT：沿着时间轴往前追溯我们的目标是计算误差关于参数U、V和W的梯度，然后使用梯度下降法学习出好的参数。9-

Softmax的分类器预测4W个词中的哪一个交叉熵损失crossentropylosst时刻上正确的词预测出来的词10-

11-

RNN与图像描述AlexNet来抽取特征做一次前向运算抽取4096*1的特征4096*1的特征向量文本输入记忆图片信息只在第一步做，后面的每次更新都不再看图片了12-

最后一次循环输出[endtoken]13-

14-

RNN可以被训练来，通过前面的单词来预测接下来的单词。实际上，相关信息和需要该信息的位置之间的距离可能非常的远。不幸的是，随着距离的增大，RNN对于如何将这样的信息连接起来无能为力。15-

16-

非线性处理模块逐点运算信息传播方向信息拼接信息复制17-

T-1时刻的记忆到现在的记忆在传送带上往前传发生信息的交互可以取东西也可以放东西上去CellState18-

做记忆的变更：要把这部分记忆存下去19-

LSTM的几个关键“门”与操作上一个时刻的输出现在的输入以多大概率去丢掉信息20-

LSTM的几个关键“门”与操作(产生一个概率值，以多少值去更新信息)用it对Ct做过滤，哪一部分知识能够补充到我之前的知识体系中Ct:六年级这一年学到了什么21-

LSTM的几个关键“门”与操作通过率旧的记忆筛选器新的知识22-

LSTM的几个关键“门”与操作小学全六年知识从前六年的知识中筛出来解决当前题目的知识P(0,1)解决完了给出答案23-

LSTM的变种启发式的，没有严谨的数学推导窥视孔连接24-

LSTM的变种忘记了0.3的信息补充0.7的信息只遗忘那些有新元素来填充的元素25-

LSTM的变种：GRU只有两个门，分别为更新门和重置门，即图中的zt和rt更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越少。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。ht：忘记传递下来的ht-1中的某些维度信息，并加入当前节点输入的某些维度信息更新记忆h’主要包含了当前输入的xt?数据。把h?添加到当前的隐藏状态，相当于“记忆了当前时刻的状态”，类似于LSTM的选择记忆阶段。26-

LSTM的变种：SRU去掉了前后时刻输出ht计算的依赖，可以将多个时刻计算并行。SRU实现相比于简单的LSTM实现可快5倍。SRU评估/a/191809879

RNN生成模型仿照维基百科/karpathy/d4dee566867f8291f08628-

RNN生成模型仿照维基百科29-

合成音乐30-

End-to-EndSentence-levelLipreading31-

encoder是Image,decoder是验证码序列。这里把decoder部分的输入用encoder（i