单文档关键词自动提取方法述评.pdfVIP

- 1 - Scientific Journal of Information Engineering February 2013, Volume 3, Issue 1, PP.1-7 Overview of Keyword Extraction in Single Document Yueling Zhang 1,2 1. MOE Research Center for Software/Hardware Co-Design Engineering of Software Engineering Institute in East China Normal University, Shanghai 200062, China 2. Shanghai Embedded System Institute, Shanghai 200062, China Email: yueling671231@163.com Abstract Keyword, as an significant indicator in defining the subject of an article, is playing an important role in document managing, document clustering, data mining, news reading, machine translating and auto-answer system. This paper summarizes keyword extraction methods for single document, analyzes the tectonic features, advantages and disadvantages of current extraction algorithms, and pointes out how to make the keyword automatically extraction system more useful will be the hot spot in the future research. Keywords: Keyword; Extraction Algorithm; Corpus Set; Word Co-occurrence; Lexical Chain; Page Rank 单文档关键词自动提取方法述评* 张越龄 1,2 1.华东师范大学软件学院 教育部软硬件协同设计与应用工程研究中心，上海 200062 2.上海嵌入式系统研究所，上海 200062 摘 要：关键词作为定义一篇文章主旨的重要元素，在文本处理、文档聚类、数据挖掘、新闻阅读、机器翻译、自动问答 系统等多个方面都扮演着重要的角色。本文对单文档关键词提取方法进行了综述，分析了现有提取方法的技术特点、优 势与不足，并指出提高关键词自动标注算法的实用性是未来的研究热点。 关键词：关键词；提取算法；语料库；词共现；词汇链；PageRank 算法 引言 关键词是为了文献标引工作，从报告、论文中选取出来用于表示全文主题内容信息款目的单词或术 语。关键词在文档中能够表征文档的重要信息和核心内容，方便读者迅速的理解文档的摘要信息并快速的 检索具体文档，对于新闻阅读、广告推荐、历史文化研究、文本处理、机器翻译、输入法词汇选取等一系 列产业和研究都有着至关重要的作用。而关键词提取在文档聚类，web 页面获取、数据挖掘以及自动问答系 统等方面都扮演极其重要的角色。无论是从传递信息角度，还是储存信息角度考虑，关键词的标引都给文 献的储存和检索带来极大的方便。通过自动标注关键词，补充拓展文献中已有的关键词信息，帮助检索系 统对文档进行聚类、索引、管理和总结。而如何提高单文本关键词自动标注系统的准确性、时效性和自适 应特性也是目前研究的重点。目前，针对英文的关键词提取已经取得了较多的研究成果，提取方法也比较 成熟，如 TF*IDF 算法[1]。由于中文的语言特点，在词与词之间没有明显的界限，因此分词成为中文关键词 提取中一个重要的影响因素，而分词的效率和准确率也在某些程度上限制了中文关键词提取的研究。中文 *中国博士后科学基金特别资助项目（201003297） - 2 - 关键词较早和较成熟的自动提取算法是 PAT-TREE 算法[2]。 1 单文档关键词的基本提取方法 关键词自动提取工作最早由 Luhn 在 19 世纪 50 年代开始研究[3]。1963 年