Python自然语言处理 课件 电子05-1 -词向量算法.pptx

词向量与关键词提取Python自然语言处理第五章 CONTENT目录 01词向量算法word2vec02关键词提取技术概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本关键词 章节回顾01OPTION02OPTION03OPTION 中文分词 词性标注 命名实体识别 词向量算法0 1词向量算法word2vec神经网络语言模型CW模型CBOW模型和Skip-gram模型 词向量算法word2vec文本表示：自然语言处理中的基础工作，对后续工作有着重要影响。文本向量化：文本表示的一种重要方式。文本向量化是将文本表示成一系列能够表达文本语义的向量。无论是中文还是英文，词语都是表达文本处理的最基本单元。文本词向量化：当前阶段，对文本向量化大部分的研究都是通过将文本词向量化实现的。也有研究将句子作为文本处理的基本单元，对应的是doc2vec和str2vec技术。 词向量算法word2vec词袋模型词袋模型是最早的以词语为基本处理单元的文本向量化方法。例：首先给出两个简单的文本如下：Mike likes to watch news, Bob likes too.Mike also likes to watch Basketball games.基于上述两个文档中出现的单词，构建如下词典：{“Mike: 1, likes: 2, to: 3, watch: