面向hownet 概念获取的中文自动文摘系统.pdfVIP

基于hownet 概念获取的中文自动文摘系统* 王萌1 何婷婷1 王晓荣1 姬东鸿2 （1 华中师范大学 计算机科学系 ， 武汉 430079 ） （2 新加坡信息通讯研究所 新加坡 119672） 摘要: 本文提出了一种中文自动文摘的方法。不同于其它的基于词频统计的一般方法，运用概念 （词义） 作为特征取代词语。用概念统计代替传统的词形频率统计方法，建立概念向量空间模型，计算出句子重要 度，并对句子进行冗余度计算，抽取文摘句。对于文摘测试，采用两种不同的方法进行测试：一是用机器 文摘和专家文摘进行比较的内部测试；二是对不同文摘方法进行分类，通过对分类正确率的比较的外部评 测方法。 关键词: hownet 自动文摘 概念向量空间模型 中图分类号: TP391 文献标识码:A Automatic Chinese Text Summarization system based on conceptual vector space model Wang Meng1 He ting-ting1 Wang xiao-rong1 Ji dong-hong2 (1 Central China Normal University Department of Computer Science, Wuhan 430079) (2 Institute for Infocomm Research Heng Mui Keng Terrace, 21,Singapore, 119672) Abstract:The paper presents an approach for Chinese text summarization. Unlike normal statistical method, we use concept (word sense) as feature, instead of word. Weight of sentence can be carried out in terms of weight of paragraph and thematic conceptual vector space model, after the weight of all the sentences have been carried out, the weights are ordering according to their magnitude. Sentences with high weight are selected as summarization sentences. In order to evaluate the summarization system, we use two different methods; one is to compare machine abstracts with manual abstract. The other is to compare the precision between different methods of summarization. Key word:hownet automatic text summarization conceptual vector space model 1 引言 网络时代的到来使得信息的流通变得丰富而快捷，Internet 上的海量信息大多为自然语 言形式，因此，对自然语言文本信息的加工处理需求目前变得十分紧迫。按用户的兴趣加以 筛选，甚至提炼出主要信息形成摘录，以便快速、高效地掌握相关信息。要达到这个目的就 需要一个好的自动文摘系统。 自动文摘系统大体上可分为两类：基于统计的机械文摘和基于意义的理解文摘。前者主 要根据线索词词典、词频、词和句子的启发函数进行模式匹配提取文摘[1,2,3] 。后者则是利用 句法和语义知识、或一阶谓词逻辑等对文章的内容,在理解的基础上提取文摘[4] 。 *基金项目：国家语言文字应用委员会“十五”应用项目（ZDI105-43B ）；湖北省自然科学基金项目 （2001ABB012 ）。 作者介绍：王萌 （1979－），男，硕士研究生