视频分割算法综述.docVIP

视频分割算法综述 　　摘要：随着各种电子设备的普及，视频在人们日常生活中扮演的角色越来越重要，被广泛应用于医学影像、智能交通管理、网络教育、视频监控等领域。视频分割是为了提取视频中用户感兴趣的实体，即视频对象。经过分割后的视频，存储、传输和交互式应用更为方便。基于视频分割技术的现状，介绍了视频分割的主要技术，并对未来视频分割技术发展进行了展望。 　　关键词关键词：视频分割；视频对象；时域；空域 　　中图分类号：TP312 　　文献标识码：A 文章编号文章编号2014）004003104 　　作者简介作者简介：夏侯建兵（1970-），男，厦门大学软件学院副教授，研究方向为虚拟现实、金融信息化、信息系统管理、嵌入式系统；邓小娜（1988-），女，厦门大学软件学院硕士研究生，研究方向为数字媒体技术；魏倩倩（1990-），女，厦门大学软件学院硕士研究生，研究方向为图像处理。 　　0 引言 　　视频是一系列图片组成的动态画面，将图像和音频有机地结合在一起，传达了更多的媒体信息。为了便于传输和使用，需要对视频进行分割，将视频中一些用户不感兴趣的区域剔除。MPEG[1]（the Moving Picture Experts Group）致力于研发视频、音频的压缩编码标准。MPEG-4标准提出了基于视频内容的编码方案，指出视频是由一系列视频对象组成的[2]。视频对象是具有一定意义的语义实体，是在视频连续的帧序列中具有一致性表现特征的区域集合，其中特征包括颜色、运动、形状等。MPEG-7提供了多媒体内容描述接口，涉及到基于内容的视频表示[3]。视频分割就是将不同视频对象区分开，获取用户感兴趣的视频对象。 　　图像传达的仅仅是空间的信息，而视频则是序列图像在时间上的连续播放，除空间信息外，还包含时间信息。早期的视频分割主要是基于像素级别，利用像素的差异和连续性，用边缘检测等技术进行分割。随着MPEG-4和MPEG-7的普及，基于视频对象的分割以其方便有效得到广泛使用。 　　1 图像分割 　　图像分割是视频分割的基础。图像分割是指将一幅图像按某种规则，分割为多个区域，每个区域是一类像素的集合。Graph cut[4]是图论中的一个概念，是图像分割的经典方法，它基于用户交互来分割图像，通过用户画线来标记图像的前景与背景。很多图像分割算法都是在此基础上进行改进的。Graph cuts[5]是一种基于图论的全局优化图像分割算法，通过构造最大流/最小流函数来实现全局最优分割结果。 　　图像分割可分为以下3类：①基于阈值的图像分割：依据是各像素的灰度值或者颜色空间，此算法效率不高且容易受噪声影响；②基于区域的方法：是以具有相似性质的像素集合构成的区域为基础进行，包括区域生长、区域分裂和合并；③基于边缘的图像分割，利用图像边缘的局部不连续性，通过检测并提取区域边缘来分割图像。 　　2 视频分割技术 　　目前，视频分割的方法有很多种。传统的基于像素的视频分割一般分为预处理、特征提取和分割3个步骤[6]。可通过低通、形态学滤波等方式实现预处理来降低数据间的相关性，提高分割效果；特征提取是根据运动直方图、纹理、深度等特征信息，将视频中特征一致的图像划分成不同的区域，初步分布并得到各个区域具有相似或一致的特征；分割判决是视频分割最后也是最重要的一步，根据上一步提取的特征信息，选择合适的判决模式进行处理，完成视频分割。随着MPEG-4提出视频对象的概念，视频分割出现了基于视频对象的分割方法，在某些情况下可以更有效地进行分割。 　　根据视频分割过程中有无用户的交互操作，可分为自动分割和半自动分割。自动分割算法在视频分割的过程中不需要人工参与就可以自动地从视频序列中分割出视频对象并进行运动跟踪。常见的自动视频分割算法有：基于帧间差的分割、基于直方图的分割、基于不变矩的分割、基于边缘检测的分割、基于像素值域变化的分割[7]。根据分割利用的视频信息不同，视频分割可分为：基于空域的分割、基于时域的分割和基于时空联合的分割[8]。 　　2.1 基于时域的视频分割 　　在视频的图像序列中，由于物体运行的连续性，相邻帧之间存在一定的时间关联。根据这种关联，可以从背景中提取出运动物体。时域分割的基本思想是通过对连续两帧图像进行变化检测，比较前景和背景是否属于同一运动状态来得到运动对象的模板。视频背景有静止和运动之分。对于静止背景的视频，比如使用蓝屏绿屏拍摄的视频，对象的运动会使连续帧之间的亮度不同。因此，可以根据亮度来检测。而对于背景也是运动的视频，前景和背景都在运动，分割前可对背景的运动进行估计和补偿，通过运动补偿，连续两帧图像背景可达到基本相同，再进行相关的变化检测。基于时域的视频分割算法主要有：光流法、运动跟踪法、变化检测法[9