基于综合特征分析视频关键帧检索.pdfVIP

基于综合特征分析的视频关键帧检索1 1 1 2 吴渝 ，李岩峰 ，徐世龙 1. 重庆邮电大学人工智能研究所，重庆（400065 ） 2. 重庆邮电大学通信学院，重庆（400065 ） E-mail：smilefeng2222@ 摘 要：本文综合利用了图像的颜色、形状和纹理特征，实现了对视频关键帧进行基于内容 的检索。该方法首先研究关键帧的选取、特征匹配等问题，再从视频处理的层次化结构的底 层分析入手，构建了视频的连续帧图像序列,运用时间自适应检测法对镜头的关键帧进行了 选取，建立了关键帧图像数据库。在此基础上，对图像特征进行了分析和特征提取，采用了 基于综合特征图像检索技术实现了基于关键帧的检索。 关键词：视频检索，关键帧，镜头，特征匹配 中图分类号: TP37 文献标识码: A 1．引言 随着网络、计算机和多媒体技术的发展，人们可以通过互联网观看到越来越多的视频信 息，传统的基于文本的检索方式已无法满足人们对这些多媒体信息的实时查询、浏览以及检 索，于是人们提出了基于内容的视频检索[1] 。关键帧（Key Frame ），有时也被称为代表帧， 是用于描述一个镜头的关键图像帧，它通常会反映一个镜头内的主要内容。依据镜头内容的 复杂程度，可以从镜头中提取一个或者多个关键帧。关键帧的使用大大减少了视频索引的数 据量，同时也为查询和检索视频提供一个组织框架。正是由于关键帧的提取在基于内容的视 频检索中占有非常重要的地位，近年来受到了研究者的广泛关注。也取得了一些研究成果。 目前一般采用保守原则来选取关键帧，即关键帧的选取“宁愿错，不能少” 。同时，在代 表特征不具体的情况下，一般以去掉重复或冗余帧图像为原则。基于这一基本原则，不同的 选取算法可以依据不同的原则，建立适合自身情况的判定标准。用于关键帧选取的准则主要 是考虑它们之间的不相似性。各种方法都各有优劣，目前没有一种方法可以通用适应于各种 视频中。作者所在项目组，将粗糙集与理论与基于内容的视频检索相结合，取得了一系列的 研究成果：提出了一种基于Rough Set 的海量数据分割算法[2] ；开发了一套基于Rough Set 的视频预分类系统[3,8]，能有效区分全局运动和局部运动信息；以及将Rough Set 理论应用到 关键帧提取上[4]，取得了较好的效果。但是目前还未实现对视频关键帧进行基于内容的检索。 本文依据选取出的关键帧组成的图像库，通过示例样本和图像库图像之间相似匹配度 量，实现了对关键帧基于内容的检索。即通过将图像的视觉特征（图像的颜色、形状、纹理 等）作为特征向量进行提取，然后将示例图像的特征向量与系统中存储图片的特征向量进行 相似度比较，按相似度大小排列返回给用户。 2 ．主要的关键帧提取算法 作者所在课题组做了大量性的工作，以自主开发的基于粗糙集（Rough Set ）的数据挖 掘智能分析系统为依托，对视频检索领域适用的数据挖掘、海量处理等方面进行了系统深入 1本课题得到获新世纪人才计划(NCET)、重庆市自然科学基金资助项目(No. 2005BB2063)、重庆市教委科学 技术项目 (No.050509, No.060517) 的资助。 - 1 - 和开展性的工作。根据MPEG 编码的特点：提出了一种基于Rough Set 的视频预分类的视频 检索方法，该方法利用了 MPEG 压缩码流中的运动向量信息和一种重要而却被忽视的字段 macroblock_type 来提取条件属性并应用Roughest 理论进行分类，从而对属于全局运动的帧 图建立运动模型，能够更有效的进行模型参数估计和运动分析；实现了一个鲁棒的基于运动 信息的视频检索系统，通过Rough Set 对视频进行预分类，继而确定镜头的运动类型，再对 用户提交的检索示例进行分析