基于图像主色彩视频关键帧提取方法.docVIP

基于图像主色彩视频关键帧提取方法 　　摘要： 　　视频关键帧体现了视频序列的主要内容。关键帧提取技术是实现基于内容的视频检索的关键技术之一。针对现有关键帧提取算法存在的计算量大、阈值选择困难、视频类型受限等问题， 提出了一种基于图像主色彩的视频关键帧提取方法。该方法利用基于八叉树结构的色彩量化算法提取图像主色彩特征，通过计算颜色特征的相似度实现镜头边界检测，最后采用K均值算法对提取出的代表帧序列进行聚类，准确提取出指定数目的关键帧。实验结果表明，所提算法计算简单、空间耗费少，具有良好的通用性和适应性。 　　关键词：关键帧提取；色彩量化；镜头边界检测；颜色特征聚类 　　中图分类号：TP391.41 　　文献标志码：A 　　0引言 　　近年来随着多媒体信息在娱乐、安全等领域的大量应用，传统的基于关键词描述的视频检索方案因其手工添加注释工作量大、人工文字标签描述主观性强、效率低下等诸多缺陷，已经不能适应海量视频检索的需求。如何有效地管理和检索视频信息成为一个关键问题。基于摘要技术[1-3]的视频检索为解决这个难题提供了一条可行途径，而关键帧的提取技术在视频检索研究中占据着核心地位。 　　关键帧是一段视频中包含重要视频内容的一组离散的帧序列，关键帧提取就是依据镜头内容的复杂程度，从镜头中提取一个或多个关键帧，从而用少量的帧来代替镜头的内容，它是视频检索和摘要的基本步骤。 　　目前常用的关键帧提取方法归纳起来主要有以下四类：1）基于镜头边界的关键帧提取技术[3]。一段视频流被分割成若干镜头后，最直接、最简单的关键帧提取方法就是将每个镜头的首帧、中间帧或者末帧作为镜头的关键帧，这种方法设计简单、运算量小，适合于内容简单或固定场景的切变镜头，但对于场景复杂、变换方式多样的镜头时，这样提取的镜头往往不能精确地代表镜头的信息。2）基于运动分析的关键帧提取技术[4]。运动分析一般基于光流运算的，如在文献[4]中Wolf通过光流分析来计算镜头中的运动量，在运动量取局部最小值处选取关键帧，它反映了视频数据的静止部分。Wolf这种基于运动分析的方法??以根据镜头的结构选择相应数目的关键帧，但这种方法计算量巨大，实时性差，而且求取的局部最小值也不一定准确。3）基于视觉内容的关键帧提取技术[5]。该方法通过每一帧的颜色、纹理等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前帧即可作为关键帧。Zhang等[5]使用多重视觉标准（如镜头边界、颜色变化以及运动特征）来提取关键帧。首先把镜头的第一帧作为关键帧，然后计算前一个关键帧与剩余帧之差，如果差值大于阈值，则再选取一个关键帧，这种方法可以根据视觉内容的变化程度来选择相应数量的关键帧，但所选取的帧不一定能反映镜头的内容，而且容易选取过多的关键帧。4）基于聚类分析的关键帧提取技术[6]。聚类算法综合考虑镜头内和镜头间的相关性，通过聚类那些在时间、内容上相关度很高的帧图像，将视频序列划分为不同的聚类，然后选取其中最不相关的离散帧作为镜头关键帧。Hanjalie等[6]提出基于非监督聚类有效性分析的分割聚类算法，把聚类中心作为关键帧，其最佳聚类策略是最小化类内距离和最大化类间距离。赵黎等[7]提出一种基于最近特征线聚类算法，利用某些特征点的连线近似代表某个类的所有特征样本轨迹，而这些特征点就是关键帧。聚类方法计算效率高，能有效获取视频镜头变化显著的视觉内容，但不能有效地保存原镜头内图像帧的时间顺序和动态信息。 　　上述关键帧提取方法大都存在着计算量大、阈值选择困难，有些算法[3，8-9 ]对视频类型有严格限制等问题，针对这些不足，本文提出了一种基于图像主色彩的视频关键帧提取方法，具有良好的通用性和适应性。 　　1基于图像主色彩的视频关键帧提取方法 　　本文提出的基于图像主色彩的关键帧提取方法的流程如图1所示。对视频帧图像采用基于八叉树结构的色彩量化算法提取图像主色彩，然后通过主颜色特征的相似度计算实现镜头边界检测。为了降低时间复杂度，对于切变镜头，提取镜头序列中间帧作为代表帧；对于渐变镜头，提取与镜头起始帧帧差最大的帧作为该镜头的代表帧，从而得到与镜头数相等的代表帧序列。最后对代表帧序列进行K均值聚类，得到符合给定数目的视频关键帧序列。 　　1.1基于八叉树结构的色彩量化 　　尽管一幅彩色图像包含丰富的颜色，但在多数情况下，图像的主色彩就涵盖了图像中的大多数的像素颜色，相关研究[10-11]表明：使用主色能够大大降低特征空间的维数，提高检索速度，同时由于主色彩的特性，一般不会降低颜色匹配的效果从而保持了检索的准确性，因此本文考虑基于图像主色彩的视频关键帧提取方法。 　　色彩量化是一个有损的过程。色彩量化能否取得理想的效果，关键在于能否解决输入图像的整体层次和局部细节之间的矛盾。