自然语言处理基础及应用 课件 第7章　文本向量化表示.pptxVIP

CONTENTS

7.1文本的表示

7.2语言模型

7.3词向量算法Word2Vec

7.4向量化算法Doc2Vec

7.5案例：将网页文本向量化

高等学校自然语言处理课程教材

第7章文本向量化表示

了解词的独热表示，分布式表示和词向量的基本概念，并充分理解

语言模型的数学定义；

了解神经网络语言模型，CW模型和GloVe模型，掌握利用gensim搭建CBOW模型和Skip-gram模型的基础理论及编程实现；

理解向量化算法Doc2Vec的基础理论，以及与Word2Vec间的相互关

系；

熟练掌握采用gensim训练词向量的具体流程及注意事项。

本章学习目标第7章文本向量化表示

文本是由文字、标点等符号组成的，但是计算机并不能高效地处理真实的文本。

为了解决这种问题，就需要一种形式化的方法来表示真实文本，称之为文本向量化。向量化是指把文本转化为数值向量的过程。

在自然语言理研究领域，文本向量化是文本表示的一种重要方式。

7.1文本的表示第7章文本向量化表示

好坏直接影响到整个自然

语言处理系统的性能。

自然语言处理中的

基础工作。

·7.1.1词的独热表示

词的独