多媒体内容检索与管理20130524概要.ppt

6.1基于内容的视频检索—基本概念 Page ? * 6.1基于内容的视频检索—基本概念 基于内容的视频检索 基于内容的视频检索(Content-Based Video Retrieval),根据视频的内容和上下文关系,对大规模视频数据库中的视频数据进行检索。它在没有人工参与的情况下,自动提取并描述视频的特征和内容。 通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段—镜头，作为检索的基本单元，在此基础上进行代表帧(representative frame)的提取和动态特征的提取，形成描述镜头的特征索引镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，直至查询到所需的视频数据视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。 Page ? * 6.1基于内容的视频检索—基本概念 基于内容的视频检索的特点 它区别于传统的基于关键字的检索手段，融合了视频分割、关键帧和动态特征提取等关键技术，具有如下特点： Page ? * 6.1基于内容的视频检索—基本概念 基本概念 帧 组成视频的最小单位，一帧可以看作一幅静态的图像。视频数据流就是由连续图像帧构成的。 镜头 由一系列帧组成的一段视频，是相邻帧的短序列，它描述同一场景，表示的是一个摄像机操作、一个事件或连续的动作。例如，在新闻视频中，每个新闻项目都对应着一个镜头。 镜头是视频检索的基本单位。 关键帧 即指从视频数据中抽取出来的、能概括镜头特征和内容的一些静态图像。 场景 是一组语义上相关联及时间上相邻的连续镜头序列,是视频信息最小的语义单位。 Page ? * 6.2基于内容的视频检索—基本原理 基于内容的视频处理过程 视频首先被分割成各个镜头,并实现对各个镜头的特征提取,得到一个尽可能充分反映镜头内容的特征空间,这个特征空间将作为视频聚类和检索的依据。其中,特征提取包括关键帧中的视觉特征（静态特征，如从颜色、纹理、形状）和镜头的运动特征（动态特征）的提取。然后,根据提取的关于镜头的动态特性和关键帧的一些静态特性,进行索引。最终,用户可以通过一种简单方便的方法浏览和检索视频。 图 视频数据处理流程 Page ? * 6.2基于内容的视频检索—基本原理 基于内容的视频检索系统 由索引、查询、检索三大模块组成。 索引模块中,系统运用镜头切割,关键帧抽取,特征提取等技术对视频信息进行预处理,并实现视频特征索引的建立; 查询模块是实现人机交互的重要接口,通过该模块用户可以容易地实现互信息查询,即用户可以较容易地向系统提交自己的各项特征要求(包括视频示例特征提取),并可根据对检索结果的进一步特征提取实现较精确检索; 检索模块主要实现视频特征索引与用户提交的各项特征的相似度计算、特征匹配,并根据相关度进行结果排序提交。 Page ? * 6.3关键技术（镜头切割） 镜头切割基本概念 从一个镜头到一个镜头的转换称为镜头切换。通常,镜头之间的切换方式主要可分为两大类:突变和渐变。 Page ? * 6.3关键技术（镜头切割） 镜头切割基本思想 镜头检测的基本思想：对比相邻图像帧之间的特征，确定其是否发生较大变化。如果发生较大变化，则意味着视频镜头发生转变。 目前视频镜头分割技术主要根据镜头在发生切换时其视频数据所反映的变化来进行。由于一个镜头内的相邻帧间的变化不会很大,它们之间的特征差值总会限定在某个阈值内。在镜头突变时,突变点前后两个相邻帧通常在内容上都显示着很大的量的变化,如果特征差值超过了给定的阈值,则意味着出现一个分割边界。 因此，镜头检测的关键问题 一：如何测量相邻帧之间的差别； 二：选择合适的阈值。 Page ? * 6.3关键技术（镜头切割） 镜头突变检测 Page ? * 6.3关键技术（镜头切割） 镜头渐变检测 对于镜头的渐变切换,由于相邻帧之间的特征差值很小,通常要比镜头阈值低得多,但却又高于镜头内的差值,因此,很难用单个的阈值来检测,更为复杂有效的分割方法必须被采用。 双比较技术要求使用两个差值阈值:阈值Tb用于检测正常的镜头切变;阈值Ts则较小,用于检测在渐变可能出现的地方、可能出现的帧。在镜头边界检测过程中,使用差值度量对相邻的帧进行比较。 Page ? * 6.3关键技术（镜头切割） Page ? * 6.3关键技术（镜头切割） 阈值的确定 所谓合适的阈值，指这个阈值既能容忍单个帧较小的变化，同时又能检测