11-关键帧提取介绍.ppt

基于PGF（peer group filtering)的关键帧提取 基于PGF（peer group filtering)的关键帧提取 Feature space representation of a complex shot(center). For visualization purpose the feature space was reduced to 2d by PCA. A clustering of the frames leads to keyframes displayed on the left and right side. K-means for clustering * * 视频关键帧抽取 视频结构化的基本概念 书 视频 章 节 页 场景 镜头 帧 A VIDEO KEY frame is the frame that can represent the salient content of a video shot. 提纲 关键帧抽取算法介绍 关键帧抽取的意义 关键帧抽取的意义 减少视频帧间存在的大量冗余信息内容 关键帧提取的意义 更凝炼地表达一段视频中包含的信息，便于对视频内容建立索引、管理 减少冗余信息 视频由成千上万的帧组成，视频数据流中t时刻的图像帧和t+1时刻的图像帧在视觉特征和内容上差别不大。 人们从由成千上万存在冗余的图像帧提取出“关键图像帧”，而且使用这些关键图像帧表示视频，会更加简洁。这是在视频内容分析中提取视频关键帧的原因之一。 快速全面了解视频的内容 对于只想了解大致视频内容的用户而言，他们并不愿意花很多时间观看每一帧。 提取关键帧可以极大地节约用户的欣赏时间。用户通过关键帧，能了解整个视频数据流所蕴含的内容。 在通过提取关键帧的底层信息来建立索引，方便用户对视频内容的查询。 小结 关键帧提取可以减少视频数据流在内容上的冗余度，其提取原则既要在数量上精简，又能够反映视频内容。 前面介绍了如何通过相邻视频帧间特征发生变换，将连续视频流分割成长短不一的视频镜头。要进行的下一步工作是从每个切分出来的镜头中提取关键帧，在关键帧的基础上进行进一步的结构化。 2. 关键帧抽取算法 几种关键帧提取算法 基于抽样的方法 基于镜头边界法 基于颜色特征法 基于运动分析法 基于聚类的关键帧提取 （重点介绍） 基于抽样的方法 思想：基于抽样的方法是一种比较简单的方法，这种方法一般通过随机的抽取几帧、或者规定间隔抽取关键帧、或者规定每个镜头提取的帧数然后等间隔抽取。 优点：这种方法的优点是简单快速。 缺点：这种方法具有明显的缺点即不能够有效的表达视频的内容。当镜头很短时可能只能抽取到一个关键帧，这可能导致一些重要信息丢失，而对于一些比较长的视频镜头片断，可能会有很多相似的关键帧被提取出来，这样关键帧提取的目的没有达到。 基于镜头边界法 思想：将切分得到镜头中的第一幅图像和最后一幅图像作为镜头关键帧。 依据：既然在一组镜头中，相邻图像帧之间的特征变化很少，所以整个镜头中图像帧的特征变换也应该不大，因此选择镜头第一帧和最后一帧可以将镜头内容完全表达出来。 基于镜头边界法 缺点：以镜头首帧或尾帧或首帧加尾帧为关键帧，这种方法虽简单，但它不考虑当前视觉内容的复杂性，并且限制了镜头关键帧的个数，使长短不同和内容不同的视频镜头有相同个数关键帧，这样做并不合理，事实上首帧或尾帧往往并非关键帧，不能精确地代表镜头信息。 基于颜色特征法 思想：将镜头当前帧与最后一个判断为关键帧的图像进行比较，如有较多特征发生改变，则当前帧为新的一个关键帧。 在实际中，可以将视频镜头第一帧作为关键帧，然后比较后面视频帧图像与关键帧的图像特征是否发生了较大变化，逐渐得到后续关键帧。 基于颜色特征法 优点：按照这个方法，对于不同的视频镜头，可以提取出数目不同的关键帧，而且每个帧之间的颜色差别较大。 缺点：对摄像机的运动（如摄像机镜头拉伸造成焦距的变化及摄像机镜头平移的转变）很不敏感，无法量化地表示运动信息的变化，会造成关键帧提取不稳健。 基于运动分析法 依据：在视频摄影中，摄像机运动所造成的显著运动信息是产生图像变化的重要因素。 思想：将相机运动造成的图像变化分成两类：一类是相机焦距变化造成的；一类是相机角度变化造成的。对前一种，选择首、尾两帧为关键帧；对后一种，如当前帧与上一关键帧重叠小于30%，则选其为关键帧。 基于聚类的关键帧提取 聚类方法在人工智能、模式识别和语音识别等领域中有着很广泛的应用，也可以使用聚类方法来提取镜头关键帧。 实现步骤： 第一步：设某个镜头Si包含n个图像帧，可以表示为Si={Fi1，……，Fin}，其中Fi1为首帧，Fin为尾帧。如果相邻两帧之间的相似度定义是这相邻