期刊关键词抽取方法.docxVIP

期刊关键词抽取方法 引言 关键词是与文章内容和主旨密切相关的短语，被广泛应用于新闻报道、 学术期刊等领域。 关键词可以提高文档的管理和检索效率， 还可以为一些文本挖 掘任务提供丰富的语义信息，例如文档的分类、聚类、检索、分析和主题搜索等 任务 [1]。期刊的关键词对应学术期刊中的 keywords 部分，包含简单关键词 SimpleWord,SW）和复杂关键词（ ComplexWord， CW）两大部分，其中 SW表 示由一个简单词组成的关键词， CW 表示由多个简单词组成的关键词。根据 IEEEExplorer[2]统计数据显示，每年约有 24 万篇新学术期刊被收录。根据某些学科期刊的要求， 在文献发表时作者需要在期刊中对关键词进行注明。 但仍有一些学科的出版物与早期发行的期刊、书籍、文献的部分章节不包含关键词等信息。 缺乏关键词会在期刊的查阅和参考过程中造成困难。 虽然可以使用索引对全文进行检索，但这种方法工作量大、 且检索结果依赖于分词效果， 难以给出准确的检索结果。而关键词抽取就是从文章中选择一小部分单词或短语来描述文章重要内 容 [3]。因此，需要寻找一种有效的期刊关键词抽取方法。针对传统方法的不足 并结合最新研究成果，本文提出了一种基于融合词性的 BiLSTM-CRF的期刊关键词提取方法。在实现数据时序和语义信息挖掘的同时， 也保证了单词与单词之间的关联性。在真实数据上的实验结果表明融合词性的 BiLSTM-CRF模型是一种有效的期刊关键词自动抽取方法。 相关工作 目前，关键词抽取任务主要有两种方法，基于无监督的方法和基于有监 督的方法 [4,5]：2.1 基于无监督的方法：无监督方法仅通过一些事先规定的关键 词权重的量化指标，计算权重排序关键词重要性来实现。 TFIDF是字符串频率关 键词 [6,7]抽取的一种典型方法， 其本质是无监督的， 可以简单快捷的进行关键词 抽取。该方法仅扫描语料库一次， 即可获得所有单词的文本频率。 但除了词频之 外，仍需要考虑许多因素， 例如词的词性以及在文本中的位置等。 为了提高该方 法的性能，必须人工的对其许多规则进行设计 [5]。在新闻领域，字符串频率方 法比有监督的机器学习方法更有效。 因为机器学习的方法在模型训练时需要花费 大量的时间，并且文档需要标注。其次，每天都会发生新事件，新闻的内容具有 多样性。但无监督方法只提供了单词在文本中的相对重要程度， 无法有效地综合 利用词法和语义信息对候选关键词进行排序 [8] 。2.2 基于有监督的方法：有监督 的方法将关键词抽取问题视为判断每个候选关键词是否为关键词的二分类问题 , 它需要一个已经标注关键词的文档集合来训练分类模型 ,即通过在一个有标注的数据集上训练分类器 ,以便决定候选词中哪些是关键词。不同的机器学习算法可 以训练出不同的分类器 ,如朴素贝叶斯 [9]，决策树 [10] 、最大熵算法 [11] 和支持向量机 [12]等是关键词抽取中的代表性方法，通过大量数据来训练分类器。可见有 监督方法可以利用更多信息具有更大的优势，且实验效果比无监督方法好 [4] 。这种方法具有较高的准确性和较强的稳定性， 但需要很大的语料库， 且所有文本需要进行标注。 标注人员具有一定的主观性并且标注任务具有复杂性。 不同的标注人员在进行同一个文本的标注时， 具有不同的认知和看法， 标注的质量会影响模型的性能。并且上述方法都将关键词抽取问题视为一个二分类问题， 对每个单词独立处理， 忽略了文本结构信息。 为解决该问题， 可以将关键词抽取问题转化为序列标注问题，常用的模型有最大熵模型（ MaximumEntropy,ME），隐马尔科夫模型 (HiddenMarkovModel,HMM) ，条件随机场模型 ConditionalRandomField,CRF）。其中 CRF模型的应用最为广泛，性能也最好，可以较为精确的实现关键词的有效提取， 但却需要人工设计特征， 特征设计的优劣与否将会直接影响到模型的性能和最终的抽取效果。 随着深度学习的不断发展，深度神经网络，尤其是长短期记忆网络（ LongShortTermMemory,LSTM)模型，前 一时刻隐藏层的信息可以加入到当前时刻的输出，通过 LSTM层可以高效地利用上下文信息，处理长序列依赖问题。通过结合 LSTM模型和 CRF模型，综合利用多种信息，可以使得效果更好 [13]。在近期的研究中，已有学者将 BiLSTM-CRF 网络模型用于开放式关系抽取 [14]、命名实体识别 [15] 、中文分词 [16] 等自然语言处理任务中。 Alzidy 等已经将 BiLSTM-CRF网络用于关键词抽取任务中 [17] ，使用固定的词嵌入来表示单词，输入网络，得到序列标注结果。 3 融合词性与