复杂活动无监督学习与分割方法研究.pdfVIP

中复杂活动的无监督学习和分割

FadimeSener,AngelaYao

德国波恩大学sener,yao

@cs.uni‑bonn.de

抽象的在光流或密集轨迹上。理解复杂的活动变

得更具性，因为它不仅需要将长序列解析为

本文提出了一种新方法，可以将中的复杂活动

语义上有意义的子活动，而且还需要捕获这些子活动

无监督地分割为多个步骤或子活动，而无需任何文本输

之间发生的时间关系。

入。我们提出了一种迭代判别生成方法，该方法交替从

的视觉特征到子活动判别性地学习子活动的外我们的目标是纯粹基于视觉输入，以无监督的方

观，并使用广义锦葵模型对子活动的时间结构进行生成式从集合中发现和分割复杂活动的步骤。在同一

建模。此外，我们引入了一个背景模型来解释与实际活活动类别中，很可能共享共同的步骤并遵循类似

动无关的框架。我们的方法在具有性的早餐行动和的时间顺序。迄今为止，类似无监督学习的作品都需

Inria教学数据集上得到了验证，并且优于无监督要来自叙述的输入。子活动和序列信息要么完全从

和弱监督的现有技术。中提取，要么严重依赖文本。此类工

设文本与的视觉信息很好地对齐，以便从文本的

时间范围内学习子活动的视觉表示。对于教学而

1。简介言，情况并非总是如此，因为对于人类叙述者来说，

我们解决从序列中理解复杂活动的问题。复首先讲述将要做什么，然后再执行操作更为自然。最

杂活动是具有多个步骤或子活动的程序性任务，这些步后，将自然语言可靠地解析为本身就是一个未解

骤或子活动遵循一些松散的顺序。复杂的活动可以在教决且开放的研究课题。因此，仅依赖视觉输入符合我

学中找到；上有数十万个此类，们的利益。

内容涉及从“煮咖啡”到更的“编织香蕉纤维

在这项工作中，我们提出了一种迭代模型，该模

布”等常见活动。同样，在辅助机器人技术中，能够理

型在学习视觉特征对子活动的判别性表示和子活动

解和解析“洗衣服”等家务任务步骤的机器人可以预测

时间结构的生成模型之间交替进行。通过将子活动表示

并支持即将到来的步骤或子活动。

与时间模型相结合，我们得到了序列的分割，然后

与更流行的简单动作识别任务相比，复杂的活动用于更新视觉表示（见图1a）。我们通过学习从视觉特

理解在计算机视觉社区中很少受到关注。在简单的动征到具有损失的低维嵌入空间的线性映射来表示子

作识别中，短的、修剪过的剪辑使用单个进行分活动。映射经过优化，使得来自同一子活动的视觉特征

类，例如、演奏乐器等等。通过使用深