基于词共现关键词提取算法研究与改进.docVIP

基于词共现关键词提取算法研究与改进 　　关键词提取是文本挖掘领域中的核心技术之一，然而在大多数关键词提取方法中尚没有一种针对政策文本关键词提取的算法。本文对比分析了两种普遍用于中文文本关键词提取的方法，并结合政策文本自身具有的成文特征提出一种基于共现词的政策文本关键词提取方法。经实验验证该方法在政策文本关键词提取方面比其他两种算法性能更好，抽取的关键词基本符合实际需求。 　　【关键词】关键词提取 词频统计 词共现 位置信息 　　1 引言 　　随着网络技术的发展，大数据时代来临，各种文本信息迅速增加。面?Σ欢细?新且数据量巨大的文本数据，人们需要大量时间去搜索自己关注的内容。关键词在一定程度上概括了一篇文章的主题和内容。通过关键词也可以方便的将文本信息进行分类，提高查阅文献的效率。 　　目前文本关键词抽取方法大致分为三类：基于统计信息的关键词提取，基于词相关性的关键词提取，基于语义的关键词提取。TF-IDF算法是目前普遍被采用的基于统计信息的关键词提取算法，但该方法需要对每个候选词进行词频统计，影响提取效率。而且该方法可能将低频词错选成关键词；词共现是基于词语相关性的关键词提取的一种。根据词共现模型，几个词语经常在同一窗口单元中出现多次，则他们在一定程度上表达了该文档的语义信息，能进一步够表达作者的主题思想。但是这种方法会导致关键词提取单一化；基于语义的关键词提取方法一般通过词语间的语义相似度来构建词语网络并结合词典进行关键词提取，但是由于一般用于关键词提取的词典都具有一般性，在针对特定的领域文本关键词提取时效率不高。 　　本文以词频统计及词共现为基础结合政策文本本身具有的特征提出一种适合政策文本关键词提取的方法。 　　2 关键词提取算法 　　2.1 TF-IDF 　　TF-IDF是经典的基于统计的关键词提取算法。通过TF-IDF计算出词t在文本D中的权重来表示其重要程度，按权重大小排列取权重较大的一些词作为关键词。权重W计算公式如下： 　　2.2 词共现模型 　　该类算法是建立在词频统计算法的基础上，将词语及其语义关系映射到词语共现图上，利用在词共现图上形成的主题信息和不同主题之间的连接特征信息，自动的提取文档中的主题词，主要目的是找出一些非高频并且对主题贡献大的词作为关键词。词共现算法是建立在词频统计算法的基础之上，自动的提取文档中的主题词，主要目的是找出一些非高频并且对主题贡献大的词作为关键词。 　　在自然语言文本中普遍存在词共现现象，而在特定的某一类文本中这种现象更加明显。词共现即某些相关词汇会出现在一定的文本范围内，本文将该范围规定为一篇文章内，相关词汇比单个高频词汇更具有代表性，更能代表文章的内容和思想。在文本集中，任意的两个词多次出现在多个文本范围内都可被认定为共现词，词条t1与词条t2可组成共现词对（t1， t2）。现在我们引入共现度来评价词条t1与词条t2的语义相关性。共现词对的相关性越大就越能表示该共现词对在文章中越重要。共现词对（t1， t2）的共现度计算公式如下： 　　3 基于共现词的政策文本关键词提取方法 　　通过词频统计得到的关键词有一定程度的偏差，很多高频词汇对文章的表述没有实质性意义，可以通过同现词找出一些低频却具有代表性的词汇。然而在计算共现度时，两个加权系数α和β的取值至关重要。目前一般的取值是α=β=0.5，这样并不具有针对性。 　　本文通过大量观察政策文本成文规律得到以下几点特征来具体调整共现度计算公式中系数的值。下面给出从待测样本集中随机抽取的一篇政策文本的截图如图1所示。 　　（1）在一般文本中很少有类似政策文本章节体的结构，很多政策文本的主题内容会在标题（包含二级及以下标题）内得到有效概括，因此我们规定在分别计算关键词t1，t2的条件共现度时，计算出t1，t2和标题Title的相似度sim1，sim2，相似度算法使用Jaro-Winkler Distance算法。关键词与标题相似度越高越具有代表性。 　　（2）根据政策文本通常会在首段或文章前部总结提出本文主要思想，所以我们把关键词t1，t2距离文章开始的字符数记录下来即d1，d2。距离计算以关键词在文章中第一次出现的位置为准。即d越大，关键词t离文章首段或前部越远越不具有代表性。 　　根据以上两点可取，。这样可将更具有代表性的共现词对提取出来。则公式（2）可改进为： 　　政策文本关键词提取具体分四大模块即文本预处理模块，通过词频统计计算权重模块，共现词对共现度计算模块，关键词提取模块。关键词提取具体步骤如下： 　　（1）文本预处理模块：将文本集使用分词器进行分词得到分词词库，并根据停用词库自动过滤去除掉一些常见的无意义的虚词和名次等。本文使用的分词器是IK Analyer分词器，IK Ana