基于领域知识的关键词自动标引毕业设计（论文）.docVIP

基于领域知识的关键词自动标引 刘 华 （暨南大学华文学院/海外华语研究中心 广州 510610） [摘要] 基于大规模层级分类语料库，抽取网页上专家已经标引的关键词形成关键词表;针对关键词的领域不均匀性和邻界域两个特征，提出并模拟计算了关键词表征文本主题特征程度的主题度。以关键词及其主题度为领域知识，结合统计方法，完成了一个知识与统计相结合的关键词自动标引系统。针对关键词标引测试难的问题，提出了细致完整、有一定可操作性的关键词标引的多点综合测试方法，关键词自动标引系统的综合平均得分为8.08。 [关键词] 关键词标引 分类语料库 主题度 [分类号] TP391.2 Key Words Auto-Indexing System Based on Domain Repository Liu Hua （College of Chinese Language and Culture of Jinan University，Guangzhou，510610，China） [Abstract] From a classed large-scale corpus, extracted key words labeled on web pages by indexing specialist; bring up and calculated words’ subject degree by statistical model, subject degree express text content’ subject concept. Based on subject degree, construct a key words auto-indexing system, which acquired average 8.08 scores. Aim at the difficultness of testing in key words indexing, brought forward a meticulous, integrated and manipulable test means, which is called multi-feature synthetical test. [Key Words] Key Words Indexing; Classed Corpus; Subject Degree 1 关键词标引综述 关键词自动标引根据文档的主题内容，借助计算机处理技术，自动从文档中直接抽取关键词作为标引词。关键词标引存在较大的难度，准确性不高，一致性难以保证，而且需要耗费巨大的人力物力。在信息高速发展的今天，随着网络的发展，精确专业的主题词人工标引很不切实际的。而且，网络发展对于文献标引的要求并不很高，更注重标引速度和时效。 一个文档可以表示成一个集合，集合中的每个元素是具有频数、位置和权重等属性的词语。因此，关键词标引的任务就是判断这个集合中哪些词语是关键词。关键词自动标引的任务需要解决两个主要问题： 第一、如何从文档中提取出哪些词语作为关键词候选项。 第二、怎样判断候选项是否是关键词，其依据是什么。 第一步是基础，主要是词语抽取。一般是先用有词表法切出词语，检索时无须对字串的字间关系进行组配，检索速度快，但存在构造困难、更新滞后等不足；而且词表词条的数量和质量直接影响到标引质量，影响检索结果（吴春玉，2005）。另外一种是基于统计的无词表抽词法（基于字频统计的字串获取），或者切分后重新捆绑碎片（杨文峰，2001；王明燕，2003；宋华，2004）。这当中的词语组配与冗余过滤非常重要，往往导致一个过与不足的问题，即高频串含有太多的垃圾组配；而关键串又组配不够。目前主要采用禁用词表过滤、语言学成词规则组配过滤、基于概念的组配等等（王明燕，2003；叶志清，2003）。 第二步是关键，主要包括权重计算。对抽取的词语在文中的词频、词语的相对词频、词语的反文献频率因子、词语在文中的位置、词性、词语本身的价值、词语的长度等进行分析，并引入某些统计方法，如互信息、TFIDF、最大熵等，对词语相应加权，最后按权重大小排序，并输出权值较大的一些标引词语。（戴璞，1998；丁璇，2002；王明燕，2003；叶志清，2003） 为了更准确地进行标引，有的系统往往增加一些模块，如： 1、主题分析模块。主要针对文本中的多主题问题，试图通过主题块的划分，解决关键词标引时主题覆盖不周的问题，如万敏（2003）提出的滑动窗口式主题划分算法，Salton（1994）提出的常见的基于相邻段落相似度的主题划分算法等。 2、隐含标引模块。有些反映主题的关键词可能并不出现在原文中，只有理解了内容语义，才能将隐含的关键词标引出来。多试图通过关键词语或概念组