机器学习课件 8.5循环神经网络.pptxVIP

循环神经网络

人工神经网络

循环神经网络

语言建模

根据前几个词预测下一个词

人工神经网络

人工神经网络是对生物神经网络的模

a)拟

b)型

c)学

d)好

循环神经网络

网络结构

人工神经网络

输入层

隐藏层

延迟器

输出层

模型训练

随时间反向传播：按时间步展开

人工神经网络

挑战：过深的网络导致梯度消失

梯度消失：过深的网络导致梯度消失

人工神经网络

门控单元

人工神经网络

长短时记忆网络（LSTM）

门控循环单元（GRU）

序列到序列模型

应用：机器翻译，自动问答，文本摘要

人工神经网络

看图说话：结合卷积网络和循环网络

人工神经网络

注意力机制

人工神经网络

小结

人工智能与人工神经元

感知机

多层感知机

反向传播算法

卷积神经网络

循环神经网络

人工神经网络

TheEnd