13组关键词提取.pptxVIP

关键词提取汇报人：林侠侣徐伊玲姚翛潇刘硕宦紫仪刘智灏时间：2020/12/10

1关键词提取介绍及应用2关键词提取基本原理3经典算法介绍4关键词提取前沿研究介绍5实例展示目录CONTENTS

1关键词提取介绍及应用

定义介绍关键词：表达文档主题意义的最小单位。关键词提取：一种识别并提取出文档中有意义且具有代表性片段或词汇(即关键词)的技术，利用某些方法发现文本中比较重要的词作为关键词，进行关键词提取。关键词提取在文本挖掘领域被称为自动关键词提取(automatickeywordextraction)在信息检索领域通常被称为自动标引(automaticindexing)。关键词提取1

关键词提取的应用由论文作者给出论文的关键词，用户可通过一个或多个关键词匹配查找到相关文献，简化搜索结果。文本分类的核心问题是从文本中提取处关键词，然后基于一定的规则对文本分类。通过查找关键词最多的句子可以自动形成摘要。当我们搜索时,算法会从输入的语句中提取关键词并对文本内容进行相关性匹配。通过用户历史浏览记录等用户标签,基于关键词匹配为用户推荐相关的产品信息。1文献检索搜索引擎自动摘要文本分类推荐系统……

2关键词提取基本原理

主要分类2关于文本的关键词提取方法分为有监督、半监督和无监督三种：1）有监督有监督方法主要是通过分类的方式进行，即判断文档中的词是或者不是关键词，需要人工标注的训练语料，训练关键词抽取分类器。当新来一篇文档时，利用训练好的分类器，对各个候选词进行分类。2）半监督3）无监督利用文本语言特点发现其中比较重要的词作为关键词，进行关键词抽取。目前比较常用的关键词提取算法都是基于无监督算法。目前无监督关键词提取方法主要有三类：基于统计特征的关键词提取（TF-IDF）；基于词图模型的关键词提取(PageRank,TextRank)；基于主题模型的关键词提取(LDA)。

基本流程2无监督文本关键词抽取流程图

基本原理与算法2关键词抽取存在两个基本的问题，第一个即什么是“关键词”，如何定量分析文本中词或词序列的“关键特性是关键词抽取技术中一个重要的问题。目前主流关键词抽取算法可划分为如下三类：

相关技术2分词技术词性标注现有的关键词中，绝大多数关键词为名词或者动名词。一般情况下，名词与其他词性相比更能表达一篇文章的主要思想。目前采用的词性标注方法主要有基于统计模型的标注方法、基于规则的标注方法、统计方法与规则方法相结合的方法、基于神经网络的词性标注方法。关键词抽取的第二个问题即什么是“词”，汉语文本中的词无天然分隔符。现有的分词方法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。对于中文而言，中文分词和词性标注的性能对关键词抽取的效果是至关重要的。

3经典算法介绍

TF-IDF算法3考虑词的两个统计信息：词频和逆文档频率算法设计目标：预测主题的能力越强的词得分越高（TF,TermFrequency）（IDF,InverseDocumentFrequency）

基于LDA的主题模型算法3

Text-Rank算法3PageRank：核心思想：如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高；如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高；

Text-Rank算法3核心思想：如果一个单词出现在很多单词后面的话，那么说明这个单词比较重要；一个TextRank值很高的单词后面跟着的一个单词，那么这个单词的TextRank值会相应地因此而提高；

4关键词提取前沿研究介绍

关键词抽取领域文献发表趋势DatawerecollectedfromGoogleScholarbysearching‘keywordextraction’and‘keyphraseextraction’.ThenumberofpaperYearDatawerecollectedfromWebofSciencebysearching‘keywordextraction’and‘keyphraseextraction’.ThenumberofpaperYear4

SIFRank[1]4[1]SIFRank:ANewBaselineforUnsupervisedKeyphraseExtractionBasedonPre-TrainedLanguageModel

SIFRank-数据集4

SIFRank-实验结果4