一种基于文本单元关联网络的自动文摘方法-模式识别与人工智能.PDF

第22 卷摇 第 3 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 模式识别与人工智能摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Vol.22摇 No.3 摇 2009年6月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 PR AI摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Jun摇 摇 2008 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 一一种基于文本单元关联网络的自动文摘方法* 1 1,2 3 陶余会 摇 摇 周水庚 摇 摇 关佶红 1(复旦大学 计算机科学与技术学院上海摇 200433) 2(复旦大学 上海市智能信息处理重点实验室 上海摇 200433) 3(同济大学 计算机科学与技术系上海摇 200092) 摘摇 要摇 提出一种基于文本单元关联网络进行自动文摘的方法.该方法根据文本单元之间的共现关系建立关联网 络,计算文本单元的共现信息量,并认为共现信息量越大的文本单元在文本中越重要.文本单元可以是单词、短语、 句子或段落,本文分别构建了基于单词和基于句子的关联网络.如果网络节点是单词,则先按照本文方法计算出单 词基于共现信息量的权重,再根据单词的权重计算句子的权重.如果网络节点是句子,本文则提出一种方法计算基 于句间共现信息量的句子权重,据此选出权重值较大的一定比例的句子组成文摘.实验结果表明本文方法能有效 改善文摘的质量,优于其它基于文本关联网络的自动文摘方法.本文方法计算出的词语权重,可以进一步应用到关 键词抽取、文本分类和聚类及信息检索中. 关键词摇 自动文摘,抽取型文摘,关联网络,共现 中图法分类号摇 TP391.2 Automatic Text Summarization Approach Based on Textual Unit Association Networks 1 1,2 3 TAO Yu鄄Hui ,ZHOU Shui鄄Geng ,GUANJi鄄Hong 1(School of Computer Science,Fudan University,Shanghai200433) 2(ShanghaiKey Laboratory of Intelligent Information Processing,Fudan University,Shanghai200433) 3(Department of Computer Science and Technology,Tongji University,Shanghai200092) ABSTRACT Anautomatictextsummarizationapproachisproposedbasedontextualunitassociationnetwork. The word鄄based and sentence鄄based association networks are constructed respectively. For the word,a new approach is used to compute the word weights and then the weight of the sentence is evaluated based on theweights of words contained in the sentence. For