自动文本摘要技术综述-情报杂志.PDFVIP

第29卷摇 第8期 情摇 报摇 杂摇 志 Vol.29摇 No.8 2010年8月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 JOURNAL OF INTELLIGENCE摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Aug.摇 2010 自自动文本摘要技术综述 Summary of Automatic Text Summarization Techniques 胡摇 侠摇 林摇 晔摇 摇 摇 摇 王摇 灿摇 林摇 立 (杭州市科学技术信息研究院摇 杭州 摇 310001)摇 ( 浙江大学 计算机科学与技术学院摇 杭州摇 310027) 摘摇 要摇 随着互联网上信息爆炸式的增长,如何在互联网上有效地获取所需信息成为当前情报科学领域一个迫切 需要解决的问题。 为了更好地浏览和吸收互联网上的海量信息,自动文本摘要技术对文档进行压缩,压缩后的表示 能够覆盖原文的所有主题且不重复。 文章对目前单文档摘要和多文档摘要领域的一些最相关技术和方法做一个较 为全面的综述性介绍,对该领域当前的一些最新发展趋势,如基于图排序的摘要方法也进行了简要的探讨。 关键词摇 自动摘要摇 文档抽取摇 机器学习 中图分类号摇 TP391摇 摇 摇 摇 摇 摇 摇 文献标识码摇 A摇 摇 摇 摇 摇 摇 文章编号摇 1002-1965(2010)08-0144-04 如基于图排序的摘要方法等。 1摇 背摇 景 我们可以根据自动文本摘要技术本身的特点对其 随着Internet 的飞速发展,人们越来越多地依赖于 进行分类。 根据摘要的主题聚焦性,自动文本摘要又 万维网来获取所需要的信息。 如何更加有效地浏览和 可分为普适摘要和查询相关的摘要。 其中,普适摘要 查阅万维网上的海量信息成了当前情报科学领域的研 会尽量覆盖文章中的所有主题并将冗余最小化;而查 究热点。 自动文本摘要技术对文档信息进行压缩表 询相关的摘要则是抽取文章中和查询词紧密相关的内 示,更好地帮助用户浏览和吸收万维网上的海量信息。 容。 所产生的摘要从形式上可以分为文摘(extract)和 在万维网用户普遍面临信息过载问题的今天,自动文 摘要(abstract),文摘通过抽取原文中的重要句子所组 本摘要技术无疑能够有效地降低用户的信息负载,帮 成,而摘要则对相关语义信息用新的句子进行描述。 我们更好地从万维网获取各类科技情报信息。 近年 目前,大多数的摘要方法都是基于文摘的方法。 来,自动文本摘要技术在科技情报领域的应用不断扩 根据摘要所覆盖的文档数量,自动文本摘要可以 展,有效提高了科技工作者浏览和处理信息的效率,是 分为单文档摘要与多文档摘要。 单文档摘要技术为单 当前信息检索领域的研究热点之一。 个文档生成摘要,而多文档摘要技术则为多个主题类 似的文档产生摘要。 本文将在接下来的篇幅中对单文 2摇 研究现状 档摘要技术、多文档摘要技术以及新兴的网页摘要技 自动文本摘要技术从20 世纪50 年代开始兴起, 术做一个概述性的介绍。 最初是以统计学为支撑,依靠文章中的词频、位置等信 摇 2.1摇 单文档自动摘要技术摇 单文档自动摘要技术 息为文章生成摘要,主要适用于格式较为规范的技术 针对单个文档,对其中的内容进行抽取,并针对用户或 文档。 从90年代开始,随着机器学习技术在自然语言 者应用需求,将文中最重要的内容以压缩的形式呈现 处理中的应用,自动文本摘要技术中开始融入人工智