基于动态图像网络动作识别方法研究.pdfVIP

用于动作识别的动态图像网络

†∗‡∗AndreaVedaldi†StephenGould‡

哈坎·比伦巴苏拉·埃夫斯特拉蒂奥斯·加夫

†‡

牛津大学澳大利亚国立大学阿姆斯特丹大学QUVA

我们引入了动态图像的概念，这是一种新颖且紧

凑的表示方法，在分析中尤其有用，尤其是在

使用卷积神经网络（CNN）时。动态图像基于排序池化

（rankpooling）概念，通过一个编码帧时间演化

的排序机的参数来获得。动态图像通过直接对的原

始图像像素应用排序池化来获取，为每个生成一个

单独的RGB图像。这个想法简单却强大，因为它使得现

有的CNN模型可以直接应用于数据，并通过微调实

现良能。我们提出了一种高效且有效的近似排序池

化算子，与传统排序池化相比，其速度提升了多个数量

级。我们这种新的近似排序池化CNN层，使我们图1：动态图像总结了在2D图像格式中发生的动

能够将动态图像推广到动态特征图，并在动作识别的标作和。仅通过动态图像的特征，你能猜出所

准基准测试中展示了这种新表示方法的强大性能，达到展示的动作吗？1

了当前最先进的水平。

本文中，我们在深度学习的背景下探索了一种新

1.引言颖、强大且简单的表示方法。以代表性目标为例，

我们研究了在短序列中识别人类动作的问题。

占据了现存视觉数据的绝大部分，远远超过

近期的研究如[5,6,7,9,23]，长期动态和时间模

了静态图像的数量。因此，准确且大规模地理解内

式对于动作识别是非常重要的线索。然而，表示复杂的

容至关重要。现代可学（如深度卷积神经网络

长期动态具有性，特别是当需要紧凑且能被高效处

CNN）的出现，极提升了多种图像理解任务的性

理的表示形式时。已有多种通过在中对图像特征进

能。由于由一系列静态图像组成，其中一些改进已

行时间池化的方法，获得了高效的长期动态表示。这种

被证明可以直接迁移到任务中。然而，如何被

时间池化可以通过时间模板[1]、用于帧排序的排

最优地表示仍然不清楚。例如，可以将看作是一系

序函数[6]、子排序[9]，或更传统的池化操作[23]

列静态图像，可能具有某种时间平滑性；或者看作是图

来实现。

像或图像特征的一个子空间；又或者看作是神经网络编

的输出。在这些以及其他可能性中，哪一种能够提本文中，我们提出了一种新的长期池化算子，在

供最佳的表示，目前尚不明确。

神经网络背景下，它结构简单、效率高、表达紧凑且

功能强大。由于aCNN了一个完整的图像表示层

次结构，每个中间层对应一种表示，因