基于超体素的视频分割技术研究.docVIP

　　基于超体素的视频分割技术研究 第 1 章 绪论 1.1本论文研究的目的和意义 图像分割属于计算机视觉的基本问题，目的是将感知上相似的像素集群到多个区域，视频分割将这个概念推广到时空上，即运动对象的像素点集群，使其分割结果在外观和运动方面达到空间和时间上的一致。由于相对于图像，视频的像素更多，因此普遍的做法是先对视频预处理，提取其显著性特征[14]或过分割成超像素[13]将其分解成更易处理的集合。这些预处理结果显著性点或超像素，有着比原始像素更丰富的信息。事实上这些论文[12]在做预处理视频分割时，往往依靠每帧图像的超像素分割[11]，或使用基于整个视频的超体素分割[6]。视频分割为高层的视觉应用中提供支持，例如活动识别、目标跟踪、内容检索和视觉增强等。超体素作为一个还算新兴的分支，在计算机视觉领域扮演着越来越重要的角色。目前超像素分割已经被应用于目标识别、跟踪、定位、视频分割、单视点三维重建等等。基于超体素的分割方法具有许多优点：（1）计算的高效性。把计算从上百万的像素级转变到只有几百个的超体素级可以大大的减少视频的复杂度，从而节省大量的计算时间。（2）表示的高效性。计算两个超体素单元之间的联系，只需要计算它们相邻的像素点即可，从而可以计算更大邻域间超体素的关系。（3）时空一致性。时空一致性或称保守性[2]的基本原则是，鼓励紧凑的和形状均匀的超体素[15]，使得分割对象保持时间一致性（称为连贯性[6]）。（4）时空边界信息保持。每个超体素在人看来都是可视的有意义的单元区域，超体素内部的像素倾向于纹理和颜色上面的统一，从而很可能属于同一个物理目标。 1.2国内外研究现状及存在的问题 视频分割最初是将图像分割技术直接应用到视频分割中，而不考虑时间相关性[4,22]。这些方法本质上是可扩展的，并且可能会产生实时的分割结果。然而由于缺乏相邻帧的时间信息，这种现象可能会导致整个视频片段分割结果的抖动。Freedman 和Kisilev[8]采用了基于采样的快速均值漂移方法，将 10 帧作为一组图像特征以集群产生平滑的结果，但是仍然没有考虑到时间信息。Paris 等将图像分割的均值漂移算法（mean-shift）[14]加入高斯内核信息应用到视频分割中，他们实现了实时性能，而不考虑视频的将来帧信息。另一类技术是在分割时同时考虑了过去和未来的数据，他们把视频作为一个三维空间的时间量[12]，通常使用的一个变种均值漂移算法分割[5, 31]。Wang 等人[32]使用基于内核均值转移分割[31]的方法分割视频序列。Wang 和 Adelson[33]使用运动启发式迭代将视频帧分组到运动一致的层中。现有的视频分割算法中，一直占主导地位的有基于特征的对象区域方法，如[19-23]等；基于像素级的分割算法，如[2-10, 17]等。同时，协同分割由于其为分割对象建立模型，很大程度上提分割的高效性，在视频分割领域得到越来越多的关注[27-30]等。 第 2 章 基于对象分割及基于超体素分割基础 2.1 视频对象分割算法 视频分割依据视频序列的帧图像信息和运动信息来处理，一般来说，由于视频序列有着很大的数据量，这导致分割计算复杂性也大大增加，并且由于分割结果的时间连续性不易维持，所以往往处理起来比较麻烦。同时需要对于视频序列的运动特征的分析，以保存帧与帧的时间信息，获得准确、光滑的处理结果。视频分割主要面临的难题是视频本身包含大量像素和特征信息，像素级的图像处理优化算法往往使得分割速度缓慢，并且耗费大量内存；另一方面，运动视频分割不仅要求达到图像分割的质量，还需要满足分割对象的时空一致性，尤其是对于有弱边界和复杂纹理视频的分割保持其准确性。视频分割技术在视频压缩、视频编码、运动目标跟踪、动态场景解析等计算机视觉领域有着广泛应用。当前视频分割有三种不同的处理方法[42]：一是方法一帧接一帧的处理，使得每个帧独立地分割，使用这种方法是非常快速且高效，但是由于没有帧与帧之间时间信息的关联，分割结果的时间相关性往往都不理想，可能会导致整个视频序列帧的抖动；一是线性流的处理，这种方法在先前处理的帧的基础上分割当前帧，可以处理在线视频分割，其结果效果比较理想，在时间和空间方面有着相对良好的效果，而且它的时间花销和内存消耗都比较小；还有一种方法是基于整段视频序列的处理，一次计算所有的帧，这种方式得到的结果是最好的，但是由于一次性计算整段视频，导致复杂度太高，这样以来对于处理任意长的视频片段就比较困难。图 2.1 给出了这三种不同的分割方式。在本文中，我们的方法是基于数据流的处理，如上图 2.1（b）所示，每次我们对几帧进行分割，这样使得分割算法保证时间轴上的有效性，同时也确保计算的高效性。 2.2 随机游走算法简介 随机游走模型定义了物体运动的无规律性，亦即运动