命名实体识别和指代消解在文摘系统中的应用-计算机应用研究.pdfVIP

1·80 · 计算机应用研究 2006 年 命名实体识别和指代消解在文摘系统中的应用 * 于海滨, 秦 兵, 刘 挺, 郎 君 ( 哈尔滨工业大学 信息检索研究室, 黑龙江 哈尔滨 150001) 摘 要: 介绍了一个基于句子抽取的单文档自动文摘系统, 在该系统基础上应用了命名实体识别和指代消解技 术, 最后通过人工评价和自动评价结果讨论命名实体识别和指代消解对文摘系统的贡献。 关键词: 自动文摘; 命名实体识别 ; 指代消解 中图法分类号: TP391 文献标识码 : A 文章编号 : 1001- 3695( 2006) 04- 0180- 03 Application of Named Entity and Coreference Resolution to Summarization System YU Hai-bin, QIN Bing , LIU Ting , LANG Jun ( Information Retrieval Lab. Harbin Institute of Technology, Harbin Heilongjiang 150001, China) Abstract: We have introduced information extraction technique such as named entity tagging and coreference resolution to a summarization system based on sentence extraction technique, and evaluated the contribution of named entity tagging and core- ference resolution to the summarization system by human evaluations and automatic evaluation. Key words: Auto Summarization; Named Entity Tagging; Coreference Resolution 自动文摘技术发展了很多年[ 1, 3, 4] 。20 世纪 90 年代随着 高自动生成的文摘的可理解性及流畅度会有一定帮助。 互联网的迅猛发展, 信息的爆炸式增长满足了人们对信息需求 的同时, 也使人们快速、准确地找到真正需要的信息变得更加 1 应用命名实体识别和指代消解的必要性 困难。自动文摘是解决这一问题的一种非常有效的技术, 成为 目前生成文摘的方法主要有两种, 一种是自动摘录 ( Ex- 人们日益关注的研究热点。在众多的自动文摘方法中, 基于句 tract) 的文摘方法, 另一种是基于理解 ( Abstract) 的文摘方法。 子抽取的方法是一种历史悠久、方法简单有效且目前仍然被广 自动摘录的文摘方法历史悠久, 方法简单且效果比较好, 因此 泛使用的自动文摘方法。这种方法是利用统计学的方法或者 至今仍然被广泛使用。这种方法将文本视为句子的线性序列, 通过启发式的方法从原文中抽取句子, 然后按照长度要求将这 将句子视为词的线性序列。此方法通常分四步进行: ①计算词 些句子有机地结合起来形成一篇文摘, 使其尽可能多地保留原 的权重; ②计算句子权重; ③对原文中所有句子按照权重高低 文中的信息[ 2] 。基于句子抽取的自动文