中文文本中抽取特征信息的区域与技术-中文信息学报.PDFVIP

中　文 　信 　息 　学 　报 第 12 卷 第 2 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vo1. 12 No. 2 中文文本中抽取特征信息的区域与技术①② 刘开瑛 　薛翠芳 　郑家恒 　周晓强 山西大学计算机科学系 　太原 　030006 摘要 　本文探讨了各种从中文文本中抽取特征信息的区域和技术 。本文以新闻语料 、 科技论文 、公文类文献为例 ,详细论述了从各类文本中抽取特征信息的区域与技术 ,对科技 论文 ,还给出了一些可操作的产生式规则 。无论对 自动标引、自动分类 ,还是 自动文摘的研 究者而言 ,本文的方法与结论都有一定的参考价值 。 关键词 　中文文本 　特征信息 　文献自动化 　公文文档 一 、概 　述 ( ) 随着互联网 Internet 已在全球大规模普及的情况下 ,无论从有效利用有益信息的角 度 ,还是从防范有害信息或信息安全的角度来看 ,对网上广泛传播的形形色色的各类文本 自动处理的需求越来越迫切 。中文文献的自动处理是摆在我们面前的紧迫任务 。诸如中 文文本的自动标引、自动分类 、自动文摘 、文献的自动过滤等 。这些文献 自动处理技术的出 ( ) 发点都是寻找能表征文本主题的特征信息 ,但是从文本的什么地方 即区域 抽取特征信 息 ? 如何确定这些区域 ? 用什么技术来抽取特征信息 ? 这都是本文所关注的焦点 。本文 以现行的真实的科技文献 、公文类文档为例 ,并结合国外的相关研究 ,探讨了种种从中文文 本中抽取特征信息的区域和技术 ,希望我们的研究对从事文献自动处理的人们有所帮助 。 二 、相关研究 经观察发现[ 1 ] ,人在抽取特征信息时是以对原文的全面理解为基础的。而人在理解原 文时 ,能综合利用各种信息 :如阅读者自身丰富的背景知识 、专业知识 、语言知识 、经验知识 等 ,人可以对原文有一定程度的理解 ,进而便能确定材料的相对重要性 。而在文本的自动 处理中 ,要实现上述功能至少在 目前还是不可能的。因为这超出了目前的技术范围 , 国外 ( 虽然 80 年代在利用自然语言理解的方法对文本自动处理技术进行了一些探索 如 Ratet al , 1989 ;Allport ,1988) ,但它们一般都要求选择一个较窄的领域而且要求有可利用的领域知 识 ,这些缺点使得用自然语言处理的途径进行文本 自动处理对一般的文本处理任务显得无 ① 本文 1997 年 4 月 15 日收到 ② ( ) ( ) 本课题为国家基金 696730 11 和国家 863 智能机接口专题 863 - 306 - 03 - 09 - 4 资助项 目 1 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 能为力 。 尽管人在抽取特征信息时有诸多复杂的过程和因素 ,但一些简单的技术也可以取得令 人吃惊 的好结果 。以自动文摘为例 , 有两个系统 : [2 ] AN ES ( Automatic New s Ext raction System) 和 Mead Dat a Cent ra ’s Searchable L ead 都是对新闻语料做摘要 。Searchable L ead 只 从文章开头部分抽取给定长度的一部分 ,而 AN ES 则运用了一些加权函数来对词加权 ,进 而对句子加权 ,分析权值 ,启发式地选择句子来构成要求长度的摘要 。给定同一个测试集 (