深度学习案例教程 教案6.8词嵌入与Word2Vec模型.docx

第6章-08词嵌入与Word2Vec模型

1

我们本节课来学习词嵌入与Word2Vec模型。

词嵌入是一种将单词或短语映射到实数向量空间的技术。

传统的文本处理方法通常将单词表示为离散的符号形式，而词嵌入通过将单词表示为连续的实数向量，使计算机可以更好地理解单词之间的语义和关联关系。

2

我们来看一下词嵌入的基本思想。

词嵌入的基本思想是通过单词在上下文中的分布来捕捉其语义信息。

如果两个单词经常在相似的上下文中出现，那么它们很可能具有相似的含义。

因此，词嵌入的目标是使得在向量空间中相似含义的单词在距离上更接近。

3

那么，Word2Vec是一种常见的词嵌入模型。它是基于神经网络的一种词嵌入模型，可以将单词表示为连续的实数向量。

Word2Vec模型的主要思想是通过上下文窗口中的单词来预测目标词汇，从而学习到单词之间的语义关系。

4

他有2种主要的模型结构。

CBOW模型通过上下文词汇来预测目标词汇，Skip-gram模型则相反，是通过目标词汇来预测上下文词汇。

5

我们来具体看一下这两个模型结构。

首先看第一个模型。

CBOW模型，他的目标是通过上下文词汇来预测目标词汇。

比如说我们有一个句子。

Ienjoyplayingsoccer.

而我们的目标是根据上下文词汇Iplaysoccer来预测目标词汇enjoy。

6

在CBOW模型中，上下文词汇被表示为输入，而目标词汇则是模型的输出。模型通过一个隐藏层将输入映射到一个连续的向量表示，然后再通过输出层预测目标词汇。训练CBOW模型的过程中，我们通过最小化预测目标词汇与实际目标词汇之间的差距来优化模型的参数。一旦模型训练完成，我们可以获得每个单词的词嵌入向量。

7

第二个模型结构是我们的Skip-gram模型，他与CBOW模型相反，它的目标是根据目标词汇来预测上下文词汇。

同样，我们有一个句子Ienjoyplayingsoccer.

Skip-gram模型将尝试根据目标词汇(enjoy)，来预测上下文词汇(I,playing,soccer)。

8

Skip-gram模型把目标词汇作为输入，而上下文词汇则是模型的输出。

模型通过隐藏层将输入映射到连续的向量进行表示，然后再通过输出层预测上下文词汇。

Skipgram模型的训练过程类似于CBOW模型。

通过最小化预测上下文词汇与实际上下文词汇之间的差距来优化模型参数。

当训练完成后。我们可以获取到每个单词的词向嵌入向量。

这就是我们常见的两个模型结构。

9

通过获取到的词嵌入向量，我们后续可以来计算词语之间的相似性、进行文本分类、语义相似性计算等任务。

训练完成后，我们可以观察到生成的词嵌入向量。

比如说，I和enjoy之间的词嵌入向量可能在向量空间中就非常接近，因为它们经常在相似的上下文中出现。

10

词嵌入在自然语言处理中的许多任务中都发挥着重要作用。例如，可以使用词嵌入来计算词语之间的相似性、进行文本分类、语义相似性计算、机器翻译等。通过使用词嵌入，我们可以将单词的语义信息引入到模型中，从而提高任务的性能。

本节对于词嵌入与Word2Vec模型我们就了解到这里。