基于图像熵全局和局部混合方法关键帧提取.docVIP

基于图像熵全局和局部混合方法关键帧提取 　　摘 要：为了能快速识别视频内容并解决现有视频识别中关键帧冗余问题，提出了一种利用熵值进行关键帧提取的新方法。该方法先利用全局图像熵值对镜头进行分类，从每个类中选择具有代表性的关键帧，然后再使用图像局部特征的熵值剔除已选择的冗余帧。对几个不同类别视频的关键帧提取实验显示，提出的算法在关键帧准确率、冗余帧等指标上有很大改善，很大程度上解决了提出的问题。该算法能以更快的方式处理大量的视频数据，使电脑能自动提取视频关键帧，从而识别视频内容。 　　关键词：关键帧提取；全局图像熵；局部图像熵 　　DOIDOI：10.11907/rjdk.172485 　　中图分类号：TP317.4 　　文献标识码：A 文章编号：1672-7800（2018）002-0213-03 　　0 引言 　　随着视频采集和制作设备的普及，视频出现了爆炸式增长，急需一种方法对视频内容进行分析、分类，使视频搜索和检索过程更快。当前视频图像处理研究集中在视频内容管理的自动化方面，以克服需要人参与的人机交互系统的缺陷。 　　视频分割和关键帧提取是视频分析和内容视频检索的基础。关键帧提取是视频分析和管理的重要组成部分，为视频索引、浏览和检索提供合适的视频摘要。关键帧的使用减少了视频索引所需的数据量，为处理视频内容提供了支撑。 　　视频可以定义为数据的可视化表示。原始视频是由多个场景按顺序组成，场景又由多个镜头按顺序组成，镜头又是一张张的帧按顺序排列表示。现在大多数的研究工作都利用了这个视频结构来进行镜头分割和关键帧提取[1]。关键帧是可以代表镜头突出内容和信息的一帧。提取的关键帧必须涵盖视频的特征，通过所有按顺序提取的关键帧能够反应视频的内容轨迹。对于关键帧的选择，有许多针对特殊应用场景的方法[2]。在检索视频的应用中，先将视频按顺序细分为一组较短的片段，每个片段包含相似的内容[3]。然后利用这些片段中具有代表性的关键帧来表示这些片段，这大大减少了搜索的数据量[4]。然而，按此方法选取的关键帧并不能完全描述片段内对象的动作和运动。按照场景选择关键帧可捕捉到大部分内容的变化，同时排除多余的帧，但它的结果可能不是场景中所有帧的最佳匹配[5]。 　　1 相关理论 　　关键帧选择的基本规则是，关键帧选择宁可多选也不能漏掉重要信息帧。因此，在确定关键帧时，有必要丢弃已经选择的重复或冗余的信息帧[6]。目前的分割和关键帧提取算法可以分类为基于时间的分割，也称为基于镜头的分割和基于对象的分割。 　　1.1 基于镜头的视频分割 　　基于镜头的视频分割可以看作是一个数据信息提取的过程，通常涉及到时间分割和关键帧提取[7]。时间分割利用一个或多个明显的特征帧，例如颜色布局、图像熵值[8]等，将一个视频序列分类为一组视频序列。它通常被建模成典型的类别进行处理。将一个视频分为多个类别，并选择类别中心作为关键帧。还有使用k-means方法[2]提取每个镜头的关键帧。在文献[9]中，使用高斯混合模型（GMM）用于模拟RGB颜色空间中颜色直方图的时变变化，根据其特征，将照片中的帧分为几个类别。对于每个类别，最接近类别图心的一帧被选择为一个关键帧，类别的数量可以由贝叶斯信息标准确定。这种方法的主要缺点是无法自动确定类别的数量，因此无法自动调整类别到视频内容。 　　1.2 基于对象的视频分割 　　基于对象的视频分割通常依赖于应用程序，将一个视频分解成对象和背景。与基于镜?^的视频分割不同，基于对象的视频分割有一个帧作为基本单元，可以在更高语义级别上表示出原始视频的对象。 　　基于对象的视频分割将一个视频序列分为几个对象，每个对象都看作视频中一个模式，由时间或空间表示。基于对象的视频分割方法分为3种：空间优先级分割、时间优先级分割、空间和时间分割。由于人类视觉的本质是在空间和时间域上共同识别出显著的视频结构，所以目前的研究热点集中在空间和时间结合的视频分割上[10]。因此，空间和时间的像素化特征被提取出来，为对象分割构造一个多维特征空间[11]。与利用帧的特征提取关键帧相比，利用颜色直方图提取关键帧的方法通常计算量更大[12]。 　　2 混合方法关键帧提取 　　本文提出的方法是基于全局的图像熵值，将帧进行分类，并从每个类中选择一个帧作为具有代表性的关键帧。然后利用局部图像熵值，消除已选择的冗余帧。系统模型如图1所示，它由3部分组成：①将视频分割成镜头；②基于熵值的关键帧提取；③在提取的帧中剔除类似的关键帧。 　　2.1 视频分割成镜头 　　将视频分割为镜头是基于对镜头边界的检测，而对镜头边界检测又基于快速变换切口检测。切割是在一个镜头和下面一个镜头之间的快速过渡，通常对应于两个连续图像的颜色和亮度的突然变化。原理是，一个镜头