非等同帧处理：基于上下文相似性视觉聚类损失弱监督定位.pdfVIP

并非所有帧都同等重要：基于上下文相似性和视觉聚类损失的弱

监督定位

†‡‡†

JingShiJiaXuBoqingGongChenliangXu

†‡

大学腾讯AI

†{j.shi,chenliang.xu}@‡xujianjucs@.com‡boqinggo@

我们研究了弱监督定位的问题，其中仅

级别的句子。这是一个具有性的任务，先前

基于多实例学习（MIL）的图像定位方法在领域

中表现不佳。的工作试图通过在帧上应用加权句

子‑帧损失，将级别的MIL分解为帧级别的

MIL，但这种方法不够稳健，并且没有充分利用

中的丰富时间信息。在这项工作中，我们通过扩展帧

级别的MIL并引入假阳性帧包约束以及建模中的

视觉特征一致性来解决这些问题。具体来说，我们设

计了一种语义和视觉特征之间的上下文相似性，以处

习（MIL）的定位方法，该方法仅需

理跨帧稀疏对象关联。此外，我们通过增强视觉空间

中相似特征的聚类效应来利用时间连贯性。我们在

YouCookII和RoboWatch数据集上进行了广泛的评

估，证明我们的方法显著优于先前的最先进方法。

1.引言

将文本信号定位到视觉空间区域有多种应用，例

如，机器人技术[3,2],人机交互[27]和图像检索

[11]。虽然静态图像中的视觉定位已经取得了很大的

进展[11,24,4,34,35],中的视觉定位仍然具有

性——首先，包含许多帧，这导致了定位

中特有的时间视觉‑语言对齐问题；其次，尽管视

频资源丰富，但构建具有定位注释的大规模数据集

既昂贵又耗时。因此，在本文中，我们的目标是进行弱

监督定位：在没有对象位置注释的情况下，将语言

查询定位到帧中。

Kapathy和Fei‑Fei[11]介绍了一种基于多实例学

图1.(a)级MIL和(b)帧级MIL的说明。V到V

14

是从片段中均匀采样的。不同帧中的区域提议通过颜

分。级MIL将所有帧中的区域提议放入一个包

中，而帧级MIL为每个帧构建一个包。正例用黑色阴影

表示。这里的问题是：级MIL随着帧数的增加包大

而帧级MIL可能包含错误的正包，如V和

小单调增加，3

V的包。

4

图像和句子的对齐。它合理地假设每张图像至少包

含一个与句子查询相对应的区域。如果我们定义图

像是“包”，区域是包中的实例，语言查询是包的

，那么该图像满足MIL中正包的定义：如果包

中的至少一个实例是正的，则该包为正包。然而，

直接将基于MIL的定位方法从图像扩展到容易

陷入如图1所示的困境。第法是将每个视

为一个包，其中包含所有帧中的区域建议作为实

例。但是，随着变长，包的大小会急剧增加。

我们称这种方法为级MIL。另一种选择是

为每一帧构建一个包，并将相同的分配给

所有帧包，但这很容易触发假阳性包。此选项称为

帧级MIL。Zhou等人[40]