深度学习——基于PyTorch的实现 课件 第7、8章 序列模型、 深度生成模型.pptx

第七章：序列模型主讲人：周静

1．Word2Vec的原理与应用RNN与LSTM模型的工作原理如何训练一个RNN模型用于机器作诗如何训练一个LSTM模型用于乐曲生成编码-解码模型的原理如何训练一个端到端的机器翻译模型学习目标

词嵌入

词嵌入（WordEmbedding）词嵌入（WordEmbedding）是深度学习中一种流行的用于表示文本数据的方法，即将文本转换为数值的表示形式，一种常见的方式是转换为one-hot形式0123456789010000000001010000000020010000000…8000000001090000000001对0-9数字重新编码

词汇表征与语义相似性预测括号中的内容Iwantabottleoforange（）可能的方法步骤：把每个单词进行one-hot编码会形成一个超大的稀疏矩阵学习输入到输出的映射关系缺点：会产生维数灾难不能很好的获取词语与词语之间的相似性

对词语相似性的两种理解两个词经常在一起出现，例如：周末加班语义相关性——把这两个词的位置互换，相应的句子仍然是自然语言词语相似性本章更多关注的是语义相关性

语义相关性的几何理解首先，把一个个抽象的词或句子映射到一个欧式空间中，因为欧式空间有距离的概念。需要建立一个映射关系，将词或者短句，映射到带有距离的高维欧式空间中。这样的目标称为词嵌入（WordEmbedding），即把一个个word（词），embed（嵌入）高维的欧氏空间中。词嵌入（WordEmbedding）

举例：词嵌入的数学表达词嵌入就是要通过大量的文本数据学习，找到每一个词汇与高维空间的映射关系，表示该词汇在抽象空间中的位置，即它的坐标。三个词：酒店，宾馆，旅店所有的相对距离是保持不变的。这说明抽象空间中词汇的位置不可识别。词嵌入的理论原理

词嵌入经典文献由托马斯·米克罗夫（TomasMikolov）等人在2013年ICLR大会上的一篇论文中提出根据上下文来预测中间词的连续词袋（continuousbag-of-words,CBOW）模型根据中间词来预测上下文的跳字（skip-gram）模型词嵌入的理论原理

?词嵌入的理论原理?

案例数据来源：IMDB影评数据集，收集了25000条IMDB网站上的英文影评文本及评论的情感正负向标签数据读入与展示词嵌入的程序实现

分词及结果展示词嵌入的程序实现

词嵌入函数——Word2Vec函数size：虚拟空间维度min_count：词频小于min_count的词不被考虑维度越低，参数越少，越灵活维度越高，参数越高，需要的样本量越大，计算时间越多词嵌入的程序实现

词语相似性结果演示——model.wv.similarity函数词嵌入的程序实现

绘制星空图进行可视化：bad、director、zombie词嵌入的程序实现

RNN模型与机器自动作诗

诗，是一种艺术

作诗讲究“前言搭后语”

机器作诗与回归分析机器作诗其实就是一个回归分析的概率问题。通过学习现有诗歌的搭配规律，机器也能作诗！机器作诗原理

?机器作诗原理

?RNN前期知识

一个更为合理的建模方式对序列数据中的信息充分提取，将历史信息传递下来RNN前期知识

?RNN前期知识??

循环神经网络（RecurrentNeuralNetwork，RNN）是状态空间模型在文本序列数据上的一种具体的实现方法。它的核心思想是不断保留与传递历史信息，而保留和传递的载体就是状态。状态能够沉淀非常丰富的历史信息，有助于整个序列合理精确地向前演进。早期的相关RNN的文献RNN模型

?RNN模型?????

更为一般的RNN模型展示???????

数据读入与展示读入与展示数据读入数据

创建字符编码字典读入数据

对诗歌进行编码，从原始数据到矩阵数据处理：从原始数据到矩阵

数据处理：处理长短不一并对其X和Y这里需要注意的是数据，以“春眠不觉晓”这句诗为例，输入是“春眠不觉”，预测的目标是“眠不觉晓”:输入“春”的时候，网络预测的下一个字的目标是“眠”。输入“眠”的时候，网络预测的下一个字的目标是“不”。输入“不”的时候，网络预测的下一个字的目标是“觉”。输入“觉”的时候，网络预测的下一个字的目标是“晓”。……保证X和Y是这种“错位”的关系

数据处理：补0、对齐X和Y

构建RNN模型

参数个数计算

RNN写藏头诗poem_incomplete=‘深****度****学****习****‘…原理实现：RNN作诗

LSTM模型与自动作曲

RNN无法实现长期记忆性。skyFrench短句子长句子LSTM前期知识

思考：如何实现长期记忆性？LSTM前期知识

?LSTM前期知识

长短期记忆模型（LongShortTermMemory，LSTM）——既兼顾长期记忆