语句压缩及其应用的研究.pdfVIP

语句压缩及其应用研究 中文摘要 语句压缩及其应用研究 中文摘要 近年来随着各类信息的日益增多，人们对信息处理的需求促进了自然语言处理技术 的空前发展。与此同时，人们对如何在海量的信息中及时找出有价值的信息越来越关注， 语句压缩作为自然语言处理的基础日益受到研究者的关注。语句压缩可以应用于自动摘 要、自动标题、搜索引擎和话题检测等诸多任务中。 目前，主流的语句压缩研究主要基于语料驱动的监督模型。本文采用监督模型中的 判别式模型，通过学习成分句法树的剪裁实现语句压缩。本文的研究内容主要包括以下几 个方面： 1、基于结构化学习的语句压缩研究。首先，使用匹配抽取的方式构建中文平行语料 库；然后，提出语料库扩展方式，为解决语料库规模小的问题提供了新思路；最后，使用 结构化学习算法学习源语句成分句法树的剪裁过程，并实现语句压缩。实验结果表明，基 于结构化学习的语句压缩模型具有很好的性能，且提出的语料库扩展方式具有可行性。 2、语句压缩解码方法研究。在基于判别式模型的方法下，提出使用整型规划方法 解码。通过将语句压缩问题转换为整型规划问题实现最优目标语句的查询，该解码方 法能在保持较好的压缩率的情况下保留源语句的主要信息。 3、语句压缩评测指标研究。针对语句压缩缺乏合适的自动评测指标，本文在基于 单词删除的语句压缩系统中，引入了BLEU 和N-Gram 两种评测指标用于评测语句压 缩性能，并通过实验验证了这两种评测指标的适用性。 4 、语句压缩的应用研究。以语句压缩的应用为切入点，将语句压缩系统应用于 多文档自动文摘任务中。实验结果表明压缩系统在多文档自动文摘中能够删除部分句 子级别的非重要信息且不影响文摘的可读性。 关键词：语句压缩，结构化学习方法，整型规划，多文档自动文摘，自然语言处理 作 者：张永磊 指导教师：周国栋 王红玲 I Abstract Research on Sentence Compression and its Application Research on Sentence Compression and its Application Abstract With the tremendous increasing of information, the demands of information from people advanced the development of Natural Language Processing (NLP). As a consequent, Sentence compression, which is an important part of automatic summarization, draws much more attention. Sentence compression has been widely used in automatic title generation, Searching Engine, Topic detection and Summarization. Nowadays, the mainstream methods of sentence compression are based on Supervised Learning model. Following this, this paper explores an ingredient syntactic tree method based on dis