自动标引通用评价模型研究.pdfVIP

2007年第4期(Vo1．5．No．4) 中国索引(Journal ofThe China Society of Indexers) 9 · 2007年年会征文选登 · 自动标引通用评价模型研究 章成志 周冬敏 苏新宁 (1．南京理工大学信息管理系 南京210094) (2．中国科学技术信息研究所 北京100038) (3．南京大学信息管理系 南京210093) 摘 要 自动标引的评价是度量一个标引系统的性能的重要手段。针对常规自动标引评 价方法存在的评价结果不能完全反映真实标引结果，以及评价成本高的情况，本文提出一种通 用的自动标引评价模型，该模型有效利用外部资源，根据有参照情况与无参照情况，分别对标 引结果进行评价。实验结果表明，自动标引通用评价模型能增加评价的可靠性并降低评价的 成本。 关键词 自动标引 评价模型 语义相似度 相似度计算 1 引言 价[4]。内部评价方法主观性高，存在评价不 自动标引包括关键词自动提取(又称自 一 致性情况。同时，这种往往忽视关键词之 动抽词标引)与自动赋词标引两种类型。关 间存在的语义关联问题，造成评估结果的不 键词自动提取是一种识别有意义且具有代表 可靠性。为了克服内部评价方法存在的缺 性片段或词汇的自动化技术H]。由于关键 点，研究人员提出外部评价方法。外部评价 词是表达文件主题意义的最小单位，因此大 方法则从标引所提供的功能出发 J，将标引 部分对非结构化文件的自动处理，如自动摘 结果应用于特定的任务，如文本分类 J、聚 要、自动分类与聚类、事件检测与跟踪、概念 类或检索 ]，根据标引系统对该任务的促进 检索关联知识分析、自动问答等，都必须先进 作用来评价标引系统的性能。外部评价方法 行关键词提取的动作，再进行其他的处理。 是针对特定任务，任务中所使用语料质量、规 可以说，关键词提取是所有文件自动处理的 模对评估结果有很大影响。同时，特定任务 基础与核心技术 J。 本身的计算量通常会超过自动标引过程本身 目前大多文档都不具有关键词，同时手 的计算量，这样使得评估的速度难以满足实 工标引费力费时且主观性较强，因此关键词 际需要。因此，外部评价方法一般较少被用 自动标引是一项值得研究的技术 J。由此 于评价自动标引性能。 引发的标引结果有效评价问题也成为一个亟 本文针对上述问题，提出一种通用的自 需解决的问题，而评估关键词自动抽取的性 动标引评价模型，该模型有效利用外部资源， 能并不是一件容易的事情 J。 根据有参照情况与无参照情况，分别对标引 自动标引评价方法可以分为两种，即内 结果进行评价。实验结果表明，自动标引通 部评价方法与外部评价方法。内部评价方法 用评价模型能增加评价的可靠性，评估速度 是从标引系统的目标出发，具体方法包括标 快，并降低评价的成本。 引结果比较法、要点评价法、用户可接受性评 2 一种通用的自动标引评价模型 +本研究受“十一五”国家科技支撑计划重点项目(2006BAH03B00)、2006年江苏省研究生培养创新工程项目资助。 1O 中国索引(Journal ofThe China Society ofIndexers) 2007年第4期(Vo1．5．No．4 2．1 自动标引通用评价模型的引入