通过学习图像描述进行深度结构化场景.pdfVIP

通过学习图像描述进行深度结构化场景解析

11111212

,王光润,,,,左旺孟中山大学数据与计算机科学学院，广州，工业

大学计算机科学与技术学院，linliang@;r.m.zhang1989@.com;

cswmzuo@.com.

坐下

本文解决了一个基本的场景理解问题：如何将场景

图像解析为一个结构化的配置（即，具有对象交互关系

的语义对象层次结构），以精细地符合人类感知。我们hold

h待命

待命

提出了一种由两个网络组成的深度架构：i）一个卷积

神经网络（CNN），用于提取像素级对象的图像表

示；ii）一个递归神经网络（RNN），用于发现对象的chort

人瓶子椅子支撑

图像

层次结构和对象间的关系。我们不是依赖于详尽的用户

注释（例如，手动标注语义图和关系），而是通过利用

训练图像的描述性句子来以弱监督方式训练我们的深度显示器桌子

结构化场景配置

模型。具体来说，每个句子分解为由名词和动词

短语组成的语义树，并利用这些树来发现训练图像的配图1.我们结构化场景解析的示例。输入的场景图像被自动解

置。一旦确定了这些场景配置，然后通过反向相应析为一个层次结构配置，包括层次语义对象（黑色）和

对象之间的交互关系（红色）。

地更新CNN和RNN的参数。整个模型训练是通过期望

最大化方法完成的。广泛的实验表明，我们的模型能够

•场景图像中嵌套层次结构的表示通常具有模糊性，

生成有意义且结构化的场景配置，并在PASCALVOC

例如，一个配置可能有多种解析方式。使这些解析

2012上实现了比其他最先进的弱监督方法更优的场景标

结果与人类感知高度一致是一个有趣且基础的问题。

记性能。

•训练场景解析模型通常依赖于非常昂贵的手动注

释，例如，包括语义图和结构化配置。

1.引言为了解决上述问题，我们开发了一种新颖的深度神

经网络架构，该架构能够自动将输入场景解析为结构化

场景理解始于创建能够像人类一样从图像中推断和有意义的配置。图1展示了我们的结构化场景解析示例，

出有意义的配置（例如，部分、物体及其关系组合）其中我们的模型识别出场景中的显著语义对象，并生成

的系统。[10]在计算机视觉研究中，语义场景标注/分包含