基于最大边界相关度的抽取式文本摘要研究.pdf

基于最大边界相关度的抽取式文本摘要研究 摘要 随着大数据时代的到来，用户每天都会接收海量的来自于新闻、媒体、邮件等形 式的文章，如果每一篇文章都带有一段简短的摘要，那么用户就可以在有限的时间和 精力下选取更感兴趣的文章进行阅读。显然，人工撰写所有文章的摘要是不现实的， 所以人们希望有这样一个系统来自动生成摘要，自动文本摘要技术应运而生。自动文 本摘要是自然语言处理领域的一个子任务，同其他自然语言处理领域的任务一样，需 要对非结构的文本数据进行分析，获取最能代表文章内容的关键词或关键句子，来形 成摘要。一篇高质量的摘要，要求包括文章的主要内容，冗余度小且语句通顺流畅。 直接抽取原文的个别句子作为摘要则不存在语句不流畅的问题，基于此本文主要研究 抽取式的自动文本摘要。 迁移学习作为最近几年自然语言处理领域研究的热点，旨在通过知识的迁移，解 决某一领域或者某一种语言数据量小的问题，或者通过在某一个领域学习好的模型来 处理另一个领域的任务，减少工作量，节约时间成本。本文把迁移学习的思想应用到 自动文本摘要领域，通过特征的迁移，来帮助目标语言的摘要提取。这样，只需提取 一种语言的特征，就可以辅助他语言的文本摘要提取，减少工作量。 本文主要从两个方面展开对抽取式文本摘要的研究。首先，本文提出了基于最大 边界相关度的抽取式文本摘要模型(Text Summarization Based on Maximal Marginal Relevance, TSMMR)，其思想是通过词嵌入与句嵌入的文本向量表示方法来计算句子 之间的相似度，并考虑关键词与位置信息对句子重要性的影响对句子打分，得到高质 量的摘要。通过在英文数据集上的实证研究，结果显示，本文提出的基于最大边界相 关度的抽取式文本摘要模型抽取多句摘要的Rouge-L 值(37.78%)高于传统的抽取式文 本摘要算法CI(29.35%) 、TextRank(34.15%)和MMR(31.09%) ，表明结合词嵌入或句嵌 入的文本向量表示有助于提升文本摘要质量。 在基于最大边界相关度的抽取式文本摘要模型(TSMMR) 的基础上结合迁移学习 的思想提出了跨语言文本摘要模型(Cross Lingual Maximal Marginal Relevance, CLMMR) ，实现关键词特征在不同语言环境下的迁移。基本思路是将源语言的关键词 特征迁移到目标语言每一篇文档的关键词特征中。由于语言的不同，源语言的关键词 特征不能直接用于目标语言，本文通过双语词向量对齐的方式将源语言和目标语言的 关键词特征映射到共同的特征空间，从而实现源语言特征到目标语言的转化，最后根 据TSMMR 中的方式对句子进行打分从而抽取摘要。通过在跨语言的数据集上的实验 显示，加入其他语言的关键词特征，有助于当前语言文本摘要的抽取。 关键词：抽取式文本摘要；词嵌入；最大边界相关度算法；迁移学习；跨语言 1 基于最大边界相关度的抽取式文本摘要研究 Abstract With the advent of the big data era, users receive a large number of articles from news, media, email, etc. every day. If each article has a short summary, then users can use limited time and energy to select an interesting article to read. Obviously, it is unrealistic to write a summary of every article by human. Then, a system to automatically generate abstracts is needed, that is the automatic text summarization technology. Automatic text summarization is a