《Blog信息：：》.docVIP

::Blog信息::名称: jdsun作者: jdsun域名: /pc/index.php?id=jdsun站点: BBS 泉韵心声站 档案日期：2004-12-01 00:00:00 ～ 2005-01-01 00:00:00 2004-12-23 09:08:48 主题: 基于内容的视频检索技术人们总是希望可以直接检索到一段包含特定信息的视频片段，例如：足球比赛中的射门镜头、含有日出景色的片断等。基于内容的视频检索技术因此应运而生。　　基于内容的视频检索，就是根据视频的内容和上下文关系，对大规模视频数据库中的视频数据进行检索。它提供这样一种算法：在没有人工参与的情况下，自动提取并描述视频的特征和内容。这是一门交叉学科，以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础，从认知科学、人工智能、数据库管理系统及人机交互、信息检索等领域，引入新的媒体数据表示和数据模型，从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面。目前，基于内容的视频检索研究，除了识别和描述图像的颜色、纹理、形状和空间关系外，主要的研究集中在视频分割、特征提取和描述（包括视觉特征、颜色、纹理和形状及运动信息和对象信息等）、关键帧提取和结构分析等方面。　　帧/镜头/场景　　在讨论基于内容的视频检索中的关键技术之前，让我们先了解几个基本概念：　　· 帧 视频可以看作是一个连续静态图像的序列，其中的每一幅静态图像称为一帧。　　· 镜头 由摄像机记录下来的一段连续的帧序列，它是一段视频的物理组成单元。　　· 关键帧 一幅能描述镜头主要内容的帧。根据内容的复杂程度，一个镜头可以有一个或多个关键帧。　　· 场景 由一些语义相关的镜头组成，这些镜头不一定在时间上连续。场景描述了一个独立的故事单元（或者说是一个高层概念），它是一段视频的语义组成单元。　　一段视频的典型结构如图1所示。一般来说，一段视频由一些描述独立故事单元的场景构成；一个场景由一些语义相关的镜头组成；而每个镜头是由一些连续的帧构成，它可由一个或多个关键帧表示。　　图1 视频结构　　基于内容的视频分析，就是要从所有的帧中提取主要内容，并从下至上地对视频内容进行结构化描述。为了实现这个目标，我们须对视频进行如下处理：视频切分、特征提取和视频内容组织等。　　图2 基于内容的视频处理过程　　图2描述了基于内容的视频处理的主要过程。视频首先被分割成各个镜头，并对每个镜头进行运动分析（主要针对摄像机运动和物体运动）。基于运动分析，我们可以提取并跟踪镜头中的对象，同时选择或构造关键帧，来描述视频内容。然后，根据提取镜头、关键帧和对象的视觉特征，进行索引。通过视觉特征的相似度计算，镜头被组织成场景。最终，用户可以通过一种简单方便的方法浏览和检索视频。　　关键技术　　镜头分割 通常视频流中的镜头，是由时间连续的视频帧组成的。它对应着摄像机一次纪录的起停操作，代表一个场景在时间上和空间上的连续的动作。镜头之间有多种类型的过渡方式，最常见的是“切变”，表现为在相邻两帧间发生的突变性的镜头转换。此外，还存在一些较复杂的过渡方式，如淡入、淡出等。镜头分割方法分为非压缩域和压缩域两类。　　特征分析 基本的特征分析包括：颜色、纹理、形状、运动和对象等。前三种是图像和视频共有的，属于数字图像处理中较为成熟的技术。对象提取和跟踪，是视频分析中最困难的部分，可利用运动信息进行处理：先将每帧图像分割成具有相似视觉特征（颜色、纹理等）的区域，然后根据各个区域的运动特征，按照一定的约束（例如区域之间的连通性），将它们合并成对象。国际标准MPEG-4便是以对象提取和合成作为焦点的，它提出了使用VOP（视频对象平面）的概念，对视频对象进行索引。MPEG-7更提出对各种视频对象信息进行描述和查找。　　关键帧提取 为了克服基于镜头的方法存在的问题，人们提出了一种基于内容分析的方法。这种方法通过分析视频内容（颜色直方图、运动信息）随时间的变化情况，来选取所需关键帧的数目，并按照一定的规则为镜头抽取关键帧。当然还有其它的方法，如用无监督聚类技术来选择关键帧等。　　视频结构分析 视频结构分析的过程，就是将语义相关的镜头组合、聚类的过程。举例来说，假设有一段两人对话的视频段，在拍摄过程中，摄像机的焦点在两人之间来回切换，用我们前面所述的镜头分割技术，必然会把这一段视频分割为多个镜头。而这一组在时间上连续的镜头是相关的，因为这一组镜头是一个情节（称为场景）。结构分析的目的，便是使视频数据形成结构化的层次，可以方便用户进行有效的浏览。　　前景展望 　　基于内容的多媒体检索技术，将会在以下领域中得到更广泛的应用：数字图书馆、网络多媒体搜索引擎、交互电