基于时空方向分析的行为发现和识别基于时空方向分析的行为发现和识别.docVIP

???????????????????????????基于时空方向分析的行为发现和识别 摘要：这篇文章提供了一个对动作发现和动作识别相关课题统一的框架。动作发现是在视频中对人体动作的时空特征检测和定位。动作识别是将给定的视频按照预定义的类别进行分类的过程。一种在动作发现和动作识别中动态视频的新的紧凑的局部特征描述符被介绍，这种描述基于视觉时空能量。该描述有效地直接从原始图像的灰度数据和计算从而了困难。更重要的是介绍1.1动机 这篇文章阐述了在视频中检测和定位时空特征，识别时空特征。特别地当前关心的是所介绍的人体动作。这里，“动作”指一个表演者在一段较短的时间内所实施的一个简单的行为模式（比如说走，挥手等）。与此相反，活动可以认为是由并行，串行或者两者都有的动作组成。当前研究的潜在应用有视频索引和浏览，监控，视频引导接口和跟踪初始化。 联合探测和动作定位在这里称为“行为发现”（参考在语音识别中的字定位）。行为发现是在一个含有大量未知动作集的较大的视频中检测并在时空上定位一段可以用小视频表示的动作（比如查询）。在当前的工作中使用一个预定义的动作模板的查询视频来进行行为发现已经取得一定的成果，但使用一组具有正反样本的训练序列还没有完成。相反行为识别将一个视频片断指定为一个由一组预定义行为中的某个特定类型。例如根据公共的皇家理工学院的，佛罗里达大学体育的，还有好莱坞的行为标准将一段查询视频分到六个，十个，或十二个类别中的一个来评价识别的性能。特别的，行为发现和识别被认为是不相交的行为。但是当前的方式将行为发现和识别在同一个框架下处理。 ?在行为发现和行为识别中主要的挑战是一个动作相关的动态行为会因为空间性的不同而导致图像灰度很大的不同，比如衣着的变化。另一个挑战是在自然图像中场景凌乱的情况需要在干扰中区分出相关的行为模式信息。杂乱会在两种类型：(i)复杂的背景，行为在一个复杂的，可能是动态的背景下描述。(ii)前景复杂，行为在干扰叠加下描述，比如动态的光照，伪透明度（比如在网丝墙下行走），时间映频混扰和天气影响（比如 下雨或者下雪）。一般认为选择如何描述是解决这些问题的关键：这种仅仅空间上的行为描述允许行为可以独立于表演者的外表而被识别。这种好的时空结构描述可以在背景干扰下将行为信息区分出来。同样，在现实生活中的应用，比如，网络上的视频检索，计算复杂度是进一步的要求。 ? ? ?为了当前的目的，局部时空定位是描述功能的基础。因为不考虑原始数据，即使在区分大范围的动态图像（比如单一动作，多次叠加的运动和临时的闪烁），它是相关数据结构占第一位的数据（比如不考虑底层的视觉现象）。相应的，视觉时空可以用三维数据来表示(x,y,t)：在时空中的每一个点的坐标与一个特定的时空坐标系的计算公布相关。在研究中这些不同的分布会做比较 。 图1，提供了一个给定行为发现算法的概况对于行为识别，一个未经修剪的视频组成查询视频和一组被标识的视频片断，这些视频片断包含时空上定位好的行为组成数据库。查询视频与数据库中的每一种行为比较，具有最大相似度值的行为标记作为类别被返回（参考【5】【6】【7】【8】）。另外，所提供的算法提供时空定位信息，注意定位的相关总是在行为识别的相关工作中一般是被忽略的。一个这类工作的预定义的描述在之前出现过。【9】 1.2相关工作 在可视数据中分析人体行为已经做了大量的工作，比如，【11】【12】。这篇文章的组织方式是按照怎样描述行为来的。一个对描述方法简单的统计如下 。 ?以跟踪为基础的方法以跟踪身体部分或者关节或者两者都有，然后按照从动作轨迹中提取的特点将动作分类，比如【13】【14】【15】【16】。自动计算的一般障碍包括跟踪初始化和鲁棒性。因此，此类工作很大一部分的实现在一定程度上都需要人的参与。 其他将行为分类的算法基于从三维时空中的人体轮廓形状中提取的特征。因为这些特征在空间细节上具有很好的鲁棒性【17】【18】【19】【20】【21】【22】【23】【24】【25】【26】【27】。、这种方法依赖图形和背景的在时空域中的分割。这样带来的缺点是需要在不可控的背景下的强健的分割。更进一步，当人体的肢臂位于身体前方（在轮廓里面）时，轮廓不会提供任何信息，这样会产生不确定的信息。 近来时空兴趣点【28】【29】【30】【31】【32】【33】成为一种比较流行的行为识别的方法【1】【34】【35】【36】【37】【38】【39】【10】。兴趣点一般取那些在时空维度中显示变化和能够提供描述变化与空间外观的点。一般地，这些描述子一般和全局的视频描述子相结合（比如）。稀疏在这里是比较好的。因为它能够在很大程度上减少计算量。然而兴趣点经常因为阴影或者光照而出现变化【40】【41】。物体的封闭边界也是这样的。在高速动态的情况下会因此质