数据表示法与词嵌入技术在深度学习中应用.pdfVIP

Pytorch

深度学习入门与实战

讲师：日月光华

文本数据表示法

与词嵌入（embedding）

讲师：日月光华日月光华微信louhh01

文本的理解

文本是常用的序列化数据类型之一。文本数据可以看作是一

个字符序列或词的序列。对大多数问题，我们都将文本看作

词序列。

深度学习序列模型（如RNN及其变体）能够较好的对序列化

数据建模。

文本的理解

深度学习序列模型（如RNN及其变体）可以解决类似以下领

域中的问题：

自然语言理解；

文献分类、情感分类；

问答系统等。

文本向量化的方法

深度学习模型并不能理解文本，因此需要将文本转换为数值

的表示形式。

将文本转换为数值表示形式的过程称为向量化过程，可以用

不同的方式来完成，

文本向量化的方法

传统机器学习中：tf-idf算法

独热编码one-hot或者k-hot

散列编码

文本词嵌入（wordembedding）

词嵌入

词嵌入是单词的一种数值化表示方式，

一般情况下会将一个单词映射到一个高维的向量中（词向量）

来代表这个单词

词嵌入

‘机器学习’表示为[1,2,3]

‘深度学习’表示为[1