动态多文档文摘建模方法地研究.pdf

Classified Index: TP391.2 U.D.C: 681.324 Dissertation for the Doctoral Degree in Engineering RESEARCH ON DYNAMIC MULTI-DOCUMENT SUMMARIZATION MODELING METHOD Candidate ： Liu Meiling Supervisor： Prof. Zhao Tiejun Academic Degree Applied for ： Doctor of Engineering Speciality： Computer Application Technology Affiliation ： School of Computer Science and Technology Date of Defence ： February, 2012 Degree-Conferring-Institution ： Harbin Institute of Technology 摘 要 摘 要 互联网的普及和迅猛发展在给人们带来大量信息的同时，也使人们必须要 面对如何获取有价值信息的问题。面对成千上万的同一主题网页，它们多数具 有相同的信息，而又包含着少量不同的信息，因此迫切需要一个帮助人们快速 浏览信息的工具，该工具提供的是经过加工整理后的重要、全面的信息。随着 时间的推移，同一主题信息不断演化，如何在动态的网络数据流中有效地获取、 组织信息已成为信息处理领域的一大挑战。多文档文摘的研究为用户提供了方 便，提高了用户获取信息的速度和效率，为互联网的应用开辟了新的方向。本 文以动态信息处理为目标，着重研究动态多文档文摘建模方法。 传统的静态文摘方法把文档集看成一个静态的文本集合，因此面对当今网 络信息呈现出的较强的动态演化性和新颖性而言效果不理想，不能满足人们对 网络动态信息获取效率的要求，因此动态文摘成为了文摘技术新的研究热点。 动态多文档文摘有着广阔的应用前景，可用于新闻搜索引擎、商业竞争情报分 析、趋势预测等领域，通过不断满足人们对摘要式动态信息的需求，创造更大 的科学研究价值和社会价值。 本文面向网络信息动态数据流研究了动态多文档文摘的不同建模方法。主 要从分析历史信息与当前信息关系的角度提出了三种动态多文档文摘方法，同 时采用了演化分析、过滤、句子加权、排序等自然语言处理技术，深入研究了 中英文领域的动态多文档文摘系统，整体上使动态文摘的效果获得了较大提升。 除了保证文摘信息的主题相关性和内容的低冗余性之外，本文还针对内容的动 态演化性中已出现信息和新出现信息的关系，给出问题的形式化描述，保证多 文档文摘内容的动态演化性、低冗余性、新颖性、流畅性。本文主要研究内容 如下： 1. 研究了基于子空间投影策略的动态演化建模方法。针对子空间矩阵模型 的概念及形式化描述，本文首先分析了子空间投影技术应用于动态多文档文摘 的可行性；其次，利用信号处理领域的噪声处理方法，对历史文档和当前文档 进行演化性分析，用以表现文摘的动态性；最后，提出了改进的文摘句子加权 方法和句子选择方法，实现了动态多文档文摘。实验结果表明，在 TAC2008 文 摘国际评测中，本文提出的方法获得了较好的结果。 2. 研究了动态多文档候选集的多层过滤方法。针对动态集合特性，通过不 同信息粒度的相似度和质心计算，显示了信息多层过滤的必要性和可行性。在 基于候选文摘句过滤的动态文摘模型基础上，首先利用文本相似度累加方法进 - I - 摘 要 行信息过滤，然后利用质心整体选优方法进行信息过滤，实现了动态多文档候 选集过滤的多层模式