基于分层循环神网络段落描述生成方法研究.pdfVIP

基于分层循环神经网络的段落描述生成

1∗32∗331普渡大学2

haonanu@.comzhiheng@3‑深度学习

{wangjiang03,yangyi05,wei.xu}@

然后通过用识别出的词类填充预定义模板来生成句子。

在他们的工作基础上，一些后续方法

我们提出了一种利用分层循环神经网络（RNNs）

[26,20,21,15,3]将类似的基于规则的系统应用于包

来解决描述生成问题的方法，即生成一个或多个句

含对象和的数据集，适用于不同的任务和场

子来描述一个场景的。我们的分层框架包含一

景。通过adhoc规则，他们手动建立语言术语与视觉

个句子和一个段落。句子生成一个

元间的对应关系，并分析视觉元间的关系以

简单的短句，用于描述特定的短片段。它利用时间

生成句子。其中，最复杂的基于规则的系统[3]支持的

注意力机制和空间注意力机制，在生成过程中有选择性

词汇量为118个词项（包括48个动词和24个名词）。

地关注视觉元素。段落通过接收由句子产

生的句子嵌入向量，将其与段落信息结合，并输出

句子的新初始状态，从而捕捉句子间的依赖关为了解决问题规模扩大时规则工程繁琐的问题，一些

系。我们在两个大规模基准数据集Clips和近期方法采用统计模型来学习词汇项，且通常以完全

TACoS‑MultiLevel上评估了我们的方法。实验表明，[10,14,24,42]或弱监督[37,36,57,55]的方式进行训练。

我们的方法在BLEU@4指标上分别显著优于当前最先不同词性的统计模型通常具有不同的数学表示和训练策略

进的方法，得分为0.499和0.305。（例如，[14,24]）。由于大部分人工工作已被消除，训

练过程使得这些方法可以应用于更大的数据集（例如，

Clips[6]和TACoS‑MultiLevel[36]），这些数

1.引言据集包含数千个词汇项和数十小时的。因此，描

述生成任务变得更具性，而这些方法在大规模数据集

本文中，我们研究段落描述生成问题，即生上的生能通常较低。

成一个或多个句子来描述内容。给定的可以

像上上传的一样宽泛，也可以像包含细从那时起，的一系列工作取得了鼓舞人心的成

粒度动作的烹饪一样具体。为无约束生成语果[11,48,47,32,54,56]，这得益于深度神经网络的快

言描述的能力非常重要，因为这不仅是实现机器智能速发展，尤其是循环神经网络（RNN）。将RNN应用于

的关键一步，而且在日常场景中也有许多应用，例如将视觉序列转换为自然语言，很大程度上受到自然语言处

检索、自动字