利用对象场景语义进行大规模理解.pdfVIP

利用对象和场景语义进行大规模理解

†，付彦伟，§，LeonidSigal§

†智能信息处理重点，复旦大学计算机科学学院迪士尼§

{zxwu,ygj}@,{yanwei.fu,lsigal}@



大规模动作识别和分类是计算机视觉中的重

要问题。为了解决这些问题，我们提出了一种新的基

于对象和场景的语义融合网络和表示方法。我们的语

义融合网络使用三层神经网络结合了三类信息：(i)基

于帧的低级CNN特征，(ii)来自最先进的大规模C

NN对象检测器的对象特征，该检测器训练用于识别

20K个类别，以及(iii)来自最先进的CNN场景检测器

的场景特征，该检测器训练用于识别205个场景。训练

后的网络在两个复杂的大规模数据集——

ActivityNet和FCVID上实现了监督活动和分类的图1.所对象‑场景语义融合（OSF）网络及其在多个任务

改进。此外，通过检查和反向融合网络中的信息，中的应用示意图。

可以发现类别与对象/场景之间的语义关系（相关

因此，在给定内的外观变异性通常大于跨的

性）。这些类别‑对象/类别‑场景的关系反过来

变异性，使得识别变得。

可以用作类别的语义表示。我们通过零样本动作/

分类和聚类实验展示了这种语义表示的有效性。

在计算机视觉中，理解通常以动作/活动识别

或定位的形式进行（这将范围限制在以人为的事

件和内容上）；而通用分类[12]则研究得较

少。多年来，这两个领域的重点主要在于学习基于视

1.引言

频的表示方法（例如HoG、HoF或MBH[35]），并

能够捕捉和并在社交平台上的设备结合监督（或弱监督[5,25,29]）分类器进行识别/分

的普遍可用性和使用令人惊叹；据估计，用户每秒上类。深度学习，尤其是卷积神经网络（CNN）的成功，

传到的时长为1−5小时。这种视觉媒为端到端地联合学习判别性的分层帧基[13]或时空表

体的增长需要强大的、可扩展的方法来进行索引、示[31,34]以及分类器了机会。的CNN方

搜索和。然而，在不受限制的、通常是用户生成法在有大量标注数据的数据集上表现出显著的性能提

的中进行通用理解极具性。在语义升[31]。然而，从有限的标注数据中学习或将这些方

内容（例如，音乐会）和该内容的外观（例如，从观法从最多几百个类别扩展到数千甚至数万个类别的能

众或观察到的内容）方面差异很大。相同或类似力，对社区来说是一个重大；特别是后者，由于

的内容可以从多种视角录制（例如，前排或后排视线难以将注释扩展到数百万以及实际无法找到和标

受阻的座位），在广泛的条件下（例如，自然光注罕见。

或舞台灯光），并且可以是几乎任意长度的。

HarnessingObjectandSceneSemanticsforLarge-Scale