Python自然语言处理 课件 电子05-6- 提取文本关键词.pptx

词向量与关键词提取Python自然语言处理第五章 CONTENT目录 01词向量算法02关键词提取技术概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本关键词 章节回顾01OPTION02OPTION LSA/LSI算法LDA算法 实例：提取文本关键词实验内容：运用这些算法从一个数据集中提取关键词实验介绍：本节代码主要应用了Jieba以及Gensim。应用了Jieba工具中analyse模块封装的TextRank算法；Gensim是一个开源的第三方Python工具包，用于原始的非结构化的文本中，进行无监督学习到文本隐层的主题向量表达，支持TF-IDF、LSA、LDA和word2vec的主题模型算法，提供信息检索、相似度计算等API接口方便使用。在本节中主要调用Gensim中LSI、LDA模型的接口，我们在命令行中输入“pip install genism”命令来安装Gensim。 提取文本关键词引入相关库: 由于Python3中sorted函数去掉了cmp参数，所以实现cmp功能用cmp_to_key函数。 提取文本关键词关键词提取算法步骤：加载文档数据集。除TextRank算法以外，其余两类算法都要在一个已知的数据集中才可以提取关键词。加载停用词表。一个文档中除了能表达文章信息的实词以外，还有很多“的”、“地”等虚词和一些无