基于局部主题关键句抽取多文档自动文摘方法.docVIP

基于局部主题关键句抽取多文档自动文摘方法 　　摘 要：多文档自动文摘是自然语言处理一个研究热点。本文提出了一种基于局部主题关键句抽取的多文档自动文摘方法。首先，将文档集合中的每篇文档划分为若干个局部主题，然后对不同文档中的局部主题进行聚类分析，最后从局部主题聚簇中间抽取所需要的文摘句。实验证明了该方法的有效性。 关键词：多文档自动文摘；主题划分；局部主题 中图分类号：TP391.1 随着信息时代的发展，越来越容易获得海量的知识。如何从海量的知识从获取所需要的信息变得越来越重要。多文档自动文摘是一种将同一主题下的文档集合进行信息压缩的技术。多文档自动文摘技术在自然语言处理技术中有着广泛的应用，不仅可以单独作为一个信息浏览系统，也可以在其他自然语言处理技术中有着广泛的应用。 目前，对多文档自动文摘的研究主要有两大类。一种是将单文档文摘的方法扩展应用到多文档文摘中。如Chin-Yew Lin[1]介绍的多文档自动文摘系统，该方法利用词频、位置、关键词等统计信息对信息进行抽取，利用单文档文摘的方法来生成最后的多文档文摘。这类方法效率较高，但是忽略了文档之间的相关性。另一种方法则是将文档集合看做是一个整体，对文档中的各个句子进行重新组合聚类，然后从聚类后的聚簇中选择关键句。Radev[2]最早提出了质心的概念，他认为应从文档集合的质心，而不是从单篇文档的质心出发选择文摘句。而Fukumoto F等[3]则提出了基于主题和事件探测的多文档文摘方法，他们首先对利用统计信息提取描述文档集合主题和子事件的词语，然后在文档集合中提取出的主题段落进行文摘句的抽取。徐永东[4]也提出了一种面向多文档自动文摘的框架。该框架通过描述文本单元间的相互联系，在保证文档集合信息不丢失的前提下进行信息的提取。这类方法信息覆盖面广，信息冗余度小，目前较为常用。 本文提出了一种基于局部主题关键句抽取的多文档自动文摘方法。该方法通过对每篇文档进行局部主题划分，然后对这些局部主题进行聚类分析，最后从聚类得到的聚簇中抽取出文摘句。本文的组织结构如下：第2节介绍了局部主题的划分方法；第3节局部主题的聚类；第4节是关键句的抽取，第5节是评测结果与实验分析，最后对文章进行了总结。 1 局部主题的划分 在对文档进行处理前，首先要将文档进行形式化处理以方便计算机的分析处理。向量空间模型是一种常用的模型，它对文本内容的处理简化为向量空间中的向量运算。在实际处理中，首先对文档进行分词处理，以每个分词单位作为一个语义项，然后对文档进行向量化处理。 一篇文档通常会对所要阐述的主题进行多方面的描述，也就是说一篇文档通常包含若干个小的主题，每个小的主题会对所要说明的主题的一个方面进行详细的说明。在这里，我们把这样小的主题称为局部主题。对于同一篇文档，作者一般会用连续的篇幅来说明一个局部主题。因此，我们认为，同一篇文档的同一段落都是描述同一局部主题的，一个局部主题会用连续的若干个段落来描述。基于以上假设，我们对每篇文档进行局部主题的划分。 两个段落的相似度高，也就是两个段落是围绕同一局部主题进行阐述的。每个段落中包括若干数量的句子，如果一个段落中有一定数量的句子与另一个段落中的某些句子相似度高，可以认为这两个段落是围绕同一局部主题的。可以认为这两个段落的段落的相似度高。因此，我们定义一个句子S和一个段落P的相似度为 Sim（S，P）=MAX{Sim（S，S1）， Sim（S，S2），…，Sim（S，Sn）}，其中，n为段落P中的句子的总数，Si表示段落P中的第i个句子。 一般来说，如果两个段落是同一个局部主题进行阐述的话，两个段落中必定存在一定数量的句子对，它们之间的相似度比较高。因此，在判断两个段落是否是属于同一局部主题时，可以通过这两个段落中句子对的相似度的最大值是否满足给定的阈值。定义两个段落P1和P2之间的相似度Sim（P1，P2）=MAX{Sim（S1，P2），Sim（S2，P2），…，Sim（Sn，P2）}，其中，n为段落P1中的句子的总数，Si表示段落P1中的第i个句子。 两个段落的相似度大于指定的阈值，则认为这两个段落是属于同一局部主题的。在实际计算中，该阈值的取值我们设定为整篇文档中两个句子之间相似度取值的1/2。 在确定两个段落属于同一局部主题后，下一步就是判断下一个段落是否也属于该局部主题。而局部主题与段落的相似度的值，则认为是段落和局部主题中各个段落之间相似度的最大值。当该值大于我们设定的阈值时，则将该段落加入到局部主题中。否则，这个段落是一个新的局部主题的开始段落。将包含N个段落P1，P2，…，PN的文档划分后M个局部主题为T1，T2，…，TM的具体流程如图1所示： 图1 局部主题划分描