第九章_循环神经网络.pptxVIP

第九章：

循环神经网络主讲人：

学习目标掌握1．标准神经网络的缺点2.词嵌入原理与实现；2．RNN模型的定义、原理与实现；了解1．LSTM模型的原理；2.文本语义的数学表达；3.语义相关性的度量。

RNN引入PART9.1

9.1.1标准神经网络的缺点RNN

9.1.1标准神经网络的缺点Jordan提出的循环神经网络结构

9.1.1标准神经网络的缺点Elman循环神经网络结构

9.1.2RNN的形式化定义传统的Elman循环神经网络的循环图与展开图

9.1.2RNN的形式化定义常见的RNN拓扑结构

词嵌入PART9.2

9.2.1词嵌入前期知识词嵌入（WordEmbedding）是指把一个维数是所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组是映射到实数域上的向量。文本序列研究的重要问题——如何描述、刻画、捕捉词和词之间的相关性？

9.2.1词嵌入前期知识对词语相似性的两种理解两个词经常在一起出现语义相关性——把这两个词的位置互换，相应的句子仍然是自然语言

9.2.1词嵌入前期知识语义相关性的几何理解首先，把一个个抽象的词或句子映射到一个欧式空间中，因为欧式空间有距离的概念。需要建立一个映射关系，将词或者短句，映射到带有距离的高维欧式空间中。这样的目标称为词嵌入（WordEmbedding），即把一个个word（