关系推理简单神经网络模块(译文及原文).pdfVIP

关系推理的简单神经网络模块 深度思维 伦敦，英国 摘要 关系推理是一般智能行为的核心组成部分，但已被证明神经网络很难进行学习。本文描 述了如何使用关系网络 （RN）作为一个简单的即插即用模块来解决根本上依赖关系推理的 问题。我们用三个任务测试了 RN-增强网络:使用称为 CLEVR 的挑战性数据集的视觉问题回 答，在这方面我们达到了最优，并超过了人类的水平；使用 bAbI 任务进行基于文本的问答； 和基于动态物理系统的复杂推理。然后，我们专门整理了一个类似 CLEVR 的数据集 Sort-of-CLEVR，并在这一数据集上展示了卷积神经网络不具备解决关系问题的通用能力，但 在使用 RN 增强以后，就能获得关系推理的能力。我们的工作表明了，配备 RN 模块的深 度学习架构能以怎样的方式隐含地发现并且学习去推理实体及其关系。 1.概述 推理实体间关系和其属性的能力以通用智能行为为中心 （图1）[18，,15] 。如一个儿童 在公园里最远的两棵树间跑步，就必须推断出公园中每两棵树之间的距离，进行比较决定从 哪跑。或者，一个读者在推理小说中拼凑证明罪犯的证据：每个线索都必须在其更大的背景 下思考，才能建立一个合理的描述并解决谜团。 符号方法对人工智能本质上是相关的[32，11]。实验者使用逻辑和数学的语言来定义符号之 间的关系，然后使用许多强大的方法来推论这些关系，包括推理、算术和代数。 但是符号方法受符号接地问题困扰，并且对小任务和输入变量[11]不很有力。其他方法，例 如基于统计学习的方法，从原始数据构建表示形式，并在不同和嘈杂的条件下通用化[25] 。 然而，许多这些方法，如深度学习，通常面临数据贫乏的问题，其底层结构的特点是关系稀 疏但复杂[7 ，23] 。我们的结果证实了这些断言，并进一步证明，看似简单的关系推理对于 卷积神经网络（CNN ）和多层感知器（MLP）这些强大的神经网络结构也是非常困难的。 1 图1：CLEVER 数据集图像理解问题举例 非关系问题：棕色球体的大小如何？ 关系问题：有没有跟黄色金属柱体大小相同的橡胶物体？ 这里我们探索“关系网络”（RN）作为神经网络中关系推理的一般解决方法。RN 的结 构计算明确地侧重于关系推理[35] 。虽然提出了几个支持关系中心计算的模型，如图像神经 网络、门控图序列神经网络和交互网络[37，26，2]，RN 是简单、即插即用的，完全专注于 灵活关系推理。此外，通过联合训练 RN 可以在CNN 和 LSTM 中影响和塑造上游表示形式， 以产生可以利用关系推理的隐含的对象表示形式。我们将RN-扩展体系结构应用到CLEVR[15] ——一个最近的视觉问答 （QA ）数据集，这个数据集由于对丰富的关系推理的需求，最优 的方法也很难实现。我们的网络远远超过了最好的广泛应用的视觉问答结构，并达到最优， 甚至超过了人类水平。RN 还从状态描述中解决了 CLEVR，突出它们在输入形式方面的通用 性。我们还将基于RN 的结构应用于BAbI 基于文本的QA 套件[41] ，并解决了18/20 的子任 务。 最后，我们训练了一个RN 来对复杂物理系统和运动捕获数据进行挑战性关系推断。RN 在这一系列不同的任务领域的成功证明了RN 对于解决需要关系推理的问题的总体效用。 2.关系网络（RN） RN 是具有用于关系推理结构的神经网络模块。RN 背后的设计思想是约束神经网络的功 能形式，从而使其抓住关系推理的核心共同属性。换句话说，计算关系的能力是在不需要学 习的情况下引入到RN 体系结构中的，就像空间的推理能力一样，转换不变量属性是内置在 CNN 中的，而顺序依赖的推理能力是内置在递归神经网络中的。 在最简单的形式中，RN 是一个复合函数: 其中，输入是一系列“对象” ，是ith 对 象， 和 是各自带φ 和θ 的函数。为了我