Spark机器学习技术及应用 课件 第11章 文本分类项目实战.pptx

;;;;词向量化技术;文本向量化（又称“词向量模型”、“向量空间模型”）即将文本表示成计算机可识别的实数向量，根据粒度大小不同可将文本特征表示分为字、词、句子或篇章几个层次。文本向量化的方法主要分为离散表示和分布式表示。

（1）离散表示

一种基于规则和统计的向量化方式，常用的方法包括词集模型和词袋模型，都是基于词之间保持独立性、没有关联为前提，将所有文本中单词形成一个字典，然后根据字典来统计单词出现频数，不同的是：

词集模型：例如One-HotRepresentation，只要单个文本中单词出现在字典中，就将其置为1，不管出现多少次。

词袋模型：只要单个文本中单词出现在字典中，就将其向量值加