概率机器学习——从基础到前沿 课件 第16章 循环神经网络.pptx

概率机器学习：

从基础到前沿

第16章循环神经网络RecurrentNeuralNetwork,RNN

Outline一个简单的语言模型：预测下一个单词循环神经网络的模型结构和预测循环神经网络的训练循环神经网络的变体改进的循环神经网络：LSTM和GRU简介循环神经网络实践：中文句子生成

16.1一个简单的语言模型：预测下一个单词

LanguageModelPredictingthenextword

预测下一个单词?

双向预测（Bi-directionalPrediction）?

模型如何实现“记忆”？前馈神经网络无记忆性RNN演进过程1982年，JohnHopfield提出