Python自然语言处理 课件 电子05-3 -关键提取算法TF-IDF算法.pptx

词向量与关键词提取Python自然语言处理第五章 CONTENT目录 01词向量算法02关键词提取技术概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本关键词 章节回顾01OPTION02OPTION有监督的关键词 提取方法无监督的的关键词 提取方法 关键提取算法TF-IDF算法TF-IDF （term frequency-inverse document frequency,词频——逆文档频次算法）：一种基于统计的计算方法，常用于评估某个词对一份文档的重要程度，重要程度高的词会成为关键词。TF-IDF算法由两部分组成:TF算法：统计在一篇文档中一个词出现的频次。核心为若某个词在一个文档中出现的次数越多,则它对文档的表达能力也越强。IDF算法是来统计一个词在文档集的多少个文档中出现。核心为若某个词在越少的文档中出现，那么它区分文档能力也就越强。在实际应用中，会将TF算法、IDF算法这两种算法结合使用，由此就能从词频、逆文档频次这两个角度来衡量词的重要性。 关键提取算法TF-IDF算法? 关键提取算法TF-IDF算法? 关键提取算法TF-IDF算法? 关键提取算法TF-IDF算法 TF-IDF算法的变种传统的TF-IDF算法中，仅考虑了词的两个统计信息（出现频次、在多少个文档出现），其对文本的信息利用程度考虑较少。文本中还有许