基于文本类别文本自动摘要模型.docVIP

基于文本类别文本自动摘要模型 　　摘要：目前大部分基于序列到序列生成模型的生成式摘要研究未充分考虑文本类别对于最终摘要结果的影响。然而往往同一类别的文本的摘要具有类似的格式与措辞。因此该文提出基于文本类别的文本自动摘要模型，先利用卷积神经网络对文本进行分类，然后在传统的序列到序列模型的基础上结合文本的类别特征进行摘要生成。实验结果表明，基于文本类别的文本自动摘要模型相对于传统的文本自动摘要模型取得了更好的ROUGE值。 　　关键词： seq2seq；神经网络；文本自动摘要；文本分类 　　中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2018）01-0206-03 　　1 概述 　　随着大数据时代的来临，如何对大量信息进行压缩表示，解决信息过载问题已成为一个迫在眉睫的需求，而文本自动摘要无疑是一个高效的解决方法。文本自动摘要旨在捕获原文的中心思想，生成覆盖原文重要信息但又尽可能简短的自然语言表示。大部分的文本自动摘要研究可以归为抽取式和生成式两类。其中抽取式为简单的从原文中抽取部分句子组合形成新的摘要；而生成式则是用自然语言加以概括精炼，相对来讲质量更高但研究难度也相对较大。如今绝大部分生成式摘要的研究基于序列到序列模型[1]（sequence to sequence，以下简称seq2seq），并已经取得了一定的效果。例如：Loptrev.K[2]等人在传统的传统的seq2seq模型上引入不同的注意力机制已改善效果；Alexander[3]等人使用卷积神经网络替换编码器部分常规的循环神经网络。JiaoTao.Gu[4]用拷贝机制解决文本摘要问题中出现的未登录词现象。但是以上的研究均存在着一些不足，其中一点就是未充分利用文本本身的类别信息。例如对于新闻文本，大部分具有明确的类别标签，例如体育新闻、军事新闻或者财经新闻。同一类的新闻通常具有类似的新闻格式和措辞。例如体育类新闻的摘要通常是“某某队以几比几的比分战胜了某某队”，事故类新闻通常包含事件的时间、地点、原因等。因此在本文中，我们提出了类别相关的文本摘要模型（Topic Senstive Seq2seq，简称TS-seq2seq）。首先我们利用卷积神经网络对输入的文本进行分类，得到文本的类别；然后在编码器端利用文本类别进行编码，最终生成文本类别相关的摘要。本文选用大规模中文文本摘要数据集LCSTS[5] 作为实验语料，通过实验发现我们的模型较之传统的文本自动摘要模型取得了更好的ROUGE值。?C明了方案的可行性。 　　2 背景 　　2.1 长短记忆神经网络 　　长短记忆神经网络[6]（Long Short Term Memory，以下简称LSTM）是循环神经网络（Recurrent Neural Network，RNN）的一种特殊类型，可以很方便地学习长距离依赖信息。其神经单元由一个输入门、一个记忆门以及一个输出门所构成，我们分别使用，，表示时间步时三个门的输出向量。另外使用和分别表示神经单元的输入和输出，向量的维度设置为。那么的计算公式如下： 　　2.2 编码器-解码器模型 　　Sutskever等人在2014年提出seq2seq模型，即编码器-解码器（Encoder-Decoder）模型。用以解决对话生成，文本摘要，机器翻译等序列到序列生成问题。 　　seq2seq模型使用两个神经网络，通常是循环神经网络（Recurrent Neural Network，RNN）来分别构建编码器与解码器。给定输入序列，在编码器部分逐个读入词语，经过循环神经网络（RNN），最终转化成固定长度的中间语义向量；解码器部分在中间语义向量的基础上进行解码并生成目标序列。其中编码器生成第t个词的生成概率如下： 　　其中为softmax激活函数，为t时刻编码器的隐藏层状态，计算公式如下： 　　2.3 注意力机制 　　Bahdanau[7]在2014年提出了注意力机制，使得解码器在t时刻，能动态并线性的组合输入序列中的不同部分来构建中间语义向量：，其中表达了b编码器在第阶段的和解码器第阶段的相关性。计算公式为： 　　确切说，我们首先将输入词语的最后隐藏层状态通过单层MLP获得，然后通过softmax函数，得到归一化的注意力权重。因此式（6），式（7）变为： 　　3 基于文本类别的文本自动摘要模型 　　文本类别相关的文本自动摘要模型分为两部分：文本分类模型与文本摘要模型。给定文本，假设表示全部可能的类别集合。在文本分类模型中，通过基于卷积神经网络的文本分类模型得到输入文本的分类。然后在文本摘要模型中，基于类别生成与文本类别相关的摘要。 　　3.1 基于卷积神经网络的文本分类模型 　　目前，使用基于卷积神经网络（Convolutional Neur