RNN-LSTM学习资料课件.pptx

1.

做预测不只依赖于input，还依赖于之前的一部分信息，会把它存在memory变更的只是输入或者memory自然语言处理任务中，输入和输出之间不独立有些任务用人工神经网络、CNN解决不了2.

RNN的结构为了体现RNN的循环性，可以将多层fold起来，每个部分看做一个cell，处理过程一模一样，3.

我是中国人背景：要完成一个任务(Languagemodel)：一句话知道出现的若干个词情况下，出现下一个词会出现什么。（有一个序列，在这个序列前n个element知道情况下去推断下一个element） 是中国人序列在当前step的输入4.

矩阵St维度容量有限，文本分类，在当前任何部分都可以做总结，输出结果，但是不一定准确。任务是需要看完整个文本给出一个结果。5.

两个memory做拼接不一样的W和V让它捕捉更多信息6.

Deep：五年级的知识变难了，一周内掌握不了→多思考一下T-1TT+1T+2数列三角函数解析几何排列组合做完三轮复习的知识解这道题同一章前一轮复习同一轮复习前一章7.

BPTT(BackPropagation?Through?Time)基于时间的反向传播（调参）8.

Softmax的分类器预测4W个词中的哪一个每一个时间点都有一个输出每个输出都可以去计算l