深度学习第3章 循环神经网络.pptxVIP

第三章循环神经网络;;;循环神经网络的起源与发展;循环神经网络的起源与发展;循环神经网络的起源与发展;循环神经网络的起源与发展;循环神经网络的起源与发展;循环神经网络的起源与发展;;为什么需要RNN;循环神经网络的定义;RNN的一般结构;RNN的一般结构;?;16;17;RNN训练算法-BPTT;RNN训练算法-BPTT;RNN训练算法-BPTT;RNN训练算法-BPTT;RNN训练算法-BPTT;RNN训练算法-BPTT;;25;26;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;LSTM的基本结构;;GatedRecurrentUnit（GRU）

Bi-directionalRNN（双向RNN）

StackedRNN（堆叠RNN）

;38;39;40;41;42;43;;RNN的不同结构;循环神经网络的典型应用;例子：

给定拼音串：

“tashiyanjiushengwude”

可能的汉字串：

“踏实研究生物的”

“他实验救生物的”

“他使烟酒生物的”

“他是研究生物的”

;语言模型的核心思想是按照特定的训练方式，从语料中提取所蕴含的语言知识，应用于词序列的预测。

语言模型通常可以分为基于规则的语言模型和统计语言模型。

统计语言模型处于主流地位，通过对语料库的统计学习，归纳出其中的语言知识，获得词与词之间的连接概率，并以词序列的概率为依据来判断其是否合理。

;语言是人类最重要的、最有效的一种信息交流的手段，也是人类进行观点、思想及情感交流最便捷、最自然的方式之一，在信息传递中发挥着重要的作用。

统计语言模型在语音识别、机器翻译、中文分词、问答系统等自然语言处理领域中取得了成功地应用。

近年来，随着深度学习技术的不断发展，神经网络语言模型已成为目前语言模型领域的主流。;语言模型的发展过程;基于文法的语言模型是依据语法规则，由计算机根据这些语法解析文本的含义，其中语法规则来源于语言学家掌握的语言学知识和领域知识。

弊端：

不能处理大规模真实文本。

需要大量专家知识。

;统计语言模型;N-gram语言模型;N-gram语言模型;55;56;神经网络语言模型;前馈神经网络语言模型;前馈神经网络语言模型;循环神经网络语言模型;循环神经网络语言模型;循环神经网络语言模型;循环神经网络语言模型;LSTM语言模型;65;66;67;68;69;70;71;72;73;74;75;76;77;78;79;80;81;82;83;;本章人物;;中英文术语对照;中英文术语对照;中英文术语对照;90