信息自动标引技术.pptVIP

信息自动标引技术 2012年3月27日 自动标引技术概述 自动标引包括关键词自动提取（又称自动抽词标引）与自动赋词标引两种类型。 文本挖掘领域：关键词抽取（Keyword Extraction） 在计算语言学领域：术语自动识别（Automatic Term Recognition） 在信息检索领域：自动标引（Automatic Indexing） 自动标引属于文本信息抽取的范畴——文本信息抽取是从文本数据中抽取人们关注的特定的信息。 关键词自动提取是一种识别有意义且具有代表性片段或词汇的自动化技术。 术语、叙词（主题词）、标引词包含关系图。 自动抽词标引和自动赋词标引 自动抽词标引：指直接从原文中抽取词或短语作为标引词来描述文献主题内容的过程。 自动赋词标引：指使用预先编制的词表中的词来代替文本中的词汇进行标引的过程 。 自动标引的五十年研究历程 1957年开始进行自动标引后开始，到目前为止，自动标引研究经历了50年的发展历程。 20世纪90年代初到90年代末，自动标引研究渐渐冷却： 全文索引逐渐被人采用，并且基本上能满足用户需要； 传统的自动标引方法的效率达到极限； 网络兴起之初的冲击与信息需求环境的改变。 随着信息量的增加，全文索引的功能越来越难以满足实际需求，用户需要更加精确的结果。 互联网信息服务：例如自动摘要，文档分类与聚类，文本分析，主题检索等都要依赖于关键词自动提取的结果，只有这样才能有希望从根本上提高信息服务质量。 研究历程 1957年，Luhn开始自动标引研究，首次将计算机技术引入文献标引领域，开创了以词频为特征的统计标引方法，其理论基础是Zipf定律，该方法具有一定的客观性和合理性，并且简单易行，在自动标引中占有重要地位。 基于绝对频率加权法到基于相对频率加权法到贝叶斯、遗传算法、决策树算法等机器学习方法到基于本体的自动标引方法到基于语言模型的关键词提取方法到基于集成学习的关键词抽取。 1957年，Luhn开始自动标引研究，首次将计算机技术引入文献标引领域，开创了以词频为特征的统计标引方法，其理论基础是Zipf定律，该方法具有一定的客观性和合理性，并且简单易行，在自动标引中占有重要地位。 1958年，Luhn提出基于绝对频率加权法的自动标引方法P.B.Baxendale提出从论题句和介词短语中自动提取关键词 1959年，Edmundson与Oswald提出基于相对频率加权法的自动标引方法 1960年，Maron Kuhns提出基于相关概率的赋词标引方法 1969年，H.P.Edmundson提出了一些新的加权方法，如提示词(预示词)加权法、题名加权法、位置加权法，并探讨了不同加权法的最优组合问题 1970年，Lois L. Earl利用句法分析等语言学方法与词频统计方法相结合的方法来提取关键词 1973年，Salton等提出基于词区分值的自动标引方法 1975年，Salton等将VSM模型用于自动标引中 1983年，Dillon等提出一种基于概念的自动标引方法，研制了FASIT系统； 1985年，Devadason提出基于深层结构标引方法； 1990年，Deerwester Dumais等提出潜在语义分析标引法； 1993年，Silva Milidiu提出基于相信函数模型的赋词标引方法； 1995年，Cohen提出N-Gram分析法的自动标引方法； 1997年，简立峰提出基于PAT树的关键词提取方法； 1999年，Frank等人提出基于朴素贝叶斯(Naive Bayes，NB)的关键词提取方法； 1999年， Turney 利用遗传算法和C4.5决策树算法等机器学习方法进行关键短语提取的研究； 2001年，Anjewierden Kabel提出基于本体的自动标引方法； 2003年，Tomokiyo Hurst提出了基于语言模型的关键词提取方法； 2003年， Hulth利用Bagging算法进行了基于集成学习的关键词抽取； 2004年，李素建提出基于最大熵模型的关键词提取方法； 2006年，张阔提出基于SVM自动标引模型； 2007年，Ercan, G. Cicekli, I提出基于词汇链的自动标引方法。 研究路线图 三个领域 图书情报领域，主要从资源构建角度进行研究，为主题标引提供了丰富的词表资源； 语言学领域，从语言分析的角度研究了主题提取的机制与方法，利用词法知识、句法知识、语义知识以及篇章知识进行不同层次的主题提取研究； 人工智能领域，主要从机器学习角度对自动标引进行了大量的研究，如利用启发式知识、标记数据的机器学习、无标记的机器学习、集成学习等方法的运用。 两个维度 自动化程度维度：先后经历人