无需顺序约束弱监督动作分割.pdfVIP

动作集：无需顺序约束的弱监督动作分割

AlexanderRichard,HildeKuehne,Juergen

GallUniversityofBonn,Germany

{richard,kuehne,gall}@iai.uni‑bonn.de

涌现出来。然而，这些方法

通常依赖于完全监督的数据，即训练中每个动作

动作检测和中动作的时间分割是越来越受关的确切时间位置是已知的。创建这样的训练数据需要

注的话题。虽然完全监督的系统受到了很多关注，在帧级别进行手动标注，这非常昂贵，对于大型

但对中的每个动作进行全面标注既昂贵又不切实数据集来说也不切实际。因此，需要能够以较少的监

际。因此，弱监督的动作检测和时间分割方法非常重督学习时间动作分割和标注的方法。一个常见的假设

要。尽管该领域的大多数工设已知动作的发生顺是，不是完全监督，而是中发生动作的有序

序，但我们的方法仅使用一组动作。这种动作集的序列。尽管这种弱监督已经更容易获得，

监督要少得多，因为既不知道动作的顺序也不知道动作例如从剧本或字幕中获取，但对于大量的现实任

出现的次数。作为交换，它们可以轻松获得，例如从元务，仍然不能假设可以获得此类信息。相反，弱

中获取，而有序序列仍然需要人工标注。我们介绍通常以元或无序列表的形式从文档索引中出现。

了一种系统，该系统能够自动学中对动作进行

时间分割和标记，其中使用的唯一监督就是动作集。在

三个数据集上的评估表明，尽管监督量显著减少，但我为了解决这个问题，我们提出了一种弱监督方法，

们的方法仍能取得良好的结果。可以从无序的动作中学习时间动作分割和标注，

我们称之为动作集。与上述方法（参见图1a）不同，我

们假设在训练过程中不动作的顺序或出现次数。相

反，只给出中发生的一组动作（参见图1b）。这个

任务比有序动作的情况要得多。例如，考

1.引言虑一个包含T帧和一个C有序动作的。那么，视

由于大量公开可用的数据，对分析这些数据频有(C+T)!C!T!种可能的标注方式。如果动作没有排

序，已经有CT种可能的标注方式。对于一个非常短的

的方法的日益增加。在人类动作识别领域，近年

100帧的和C5，这意味着使用无序动作集作为

来已经取得了相当大的进展。许多关于动作识别的研

监督已经允许大约1060倍于有序动作时的可能

究已经，即在预分割的片段上进行动作分类

标注方式。

。虽然目前的方法已经在UCF‑和

HMDB‑等大型数据集上实现了高精度，但假设

拥有预分割的动作片段并不适用于大多数现实任务。因

为了处理如此巨大