基于内容的视频检索技术.docVIP

基于内容的视频检索技术 蔡晓东 [摘要] 随之信息技术不断的发展，视频信息越来越广泛的应用，本文介绍了实现基于内容的视频检索技术的一般过程、结构的构造视频检索的工作原理 、关键帧提取技术、 从视频流中构造场景或组的技术特征提取技术以及视频检索浏览等。 [关键字] 视频结构 图像检测 关键技术 随着信息技术的快速发展和普及，视频形式的多媒体数据在不断的增加，因此如何在海量的视频信息中检索出想要的内容成为了一个要急需解决的问题。因而，近几年来在国内外基于内容的视频检索技术成为了研究的重点。 基于内容的视频检索技术 基于内容的视频检索（CBVR）是根据视频的内容和上下文关系,对大规模视频数据库中的视频数据进行检索。它提供一种算法在没有人工参与的情况下，自动提取并描述视频的特征和内容。目前基于内容的视频检索研究，除了识别和描述图像的颜色、纹理形状和空间关系外，主要的研究集中在视频分割，特征提取和描述（包括，视觉特征、颜色纹理和形状及运动信息和对象信息等）关键帧提取和结构分析等方面。 视频结构的分析 为了对视频数据库进行基于内容的查询，首要要构造便于检索的视频结构，视频数据可以按照由粗到细的顺序划分为四个层次结构: 视频(Video)、场景( Scene)、镜头(Shot)和图像帧(Frame)。 一个视频序列可以是多个视频场景来构成，一个视频场景又是由多个镜头构成，而镜头是有帧构成。镜头是指摄像机从打开到关闭的过程中记录下来的一组连续图像帧。镜头边界是客观存在的，可以采用一定的方法自动检测镜头边界。在实际应用中，用户浏览一个镜头中所有图像帧是非常耗时的，因此常用关键帧技术实现快速浏览。关键帧是指代表镜头中最重要的、有代表性的一幅或多幅图像。依据镜头内容的复杂程度，可以从一个镜头中提取一个或多个关键帧或构造一个关键帧。为了在语义层建立视频结构模型，需要对视频进行场景划分。场景定义为语义上相关、时间上相邻的一组镜头，它们能够表达视频的高层次概念或故事等。镜头是组成视频的基本物理单位，而场景（又称故事）则是视频在语义层的单位，通常只有场景才能向观看者传达相对完整的语义。镜头组是一组在时间上相邻并在内容上相似的一组镜头，它是界于镜头和场景之间的一组连续的物理实体，是联系镜头和场景的桥梁。节目则是由时间上有序的场景组成，例如新闻节目、娱乐节目、体育节目、天气预报等。视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。 　　镜头分割的关键在于确定镜头的边界，其中渐变镜头边界的检测目前仍然是一个具有挑战性的课题。现有镜头分割方法多以视频内容的不连续性为划分镜头的依据。研究者们通常选取视频的某种特征来度量视频内容的不连续性，如颜色特征、运动矢量特征、边缘特征等。 　　由于同一个镜头中的各帧图像之间的内容有相当程度的冗余，因此可以选取反映镜头中主要信息内容的帧图像作为关键帧。镜头分割后，对每个镜头可提取若干关键帧，并用关键帧来简洁地表示镜头。 　　场景分割通常也称为故事单元分割，其目标在于获取视频的最小语义结构单元——场景。一般而言，场景是由一组连续的、同属于一个故事单元的多个镜头组成。通过融合视频的文本、声音等信息对已分割出的镜头进行聚类，将内容相近的连续镜头合并为一个单元组，从而得到场景信息，为进一步进行视频内容分析提供基础。］ 陈秀新 庞尚珍冯雪 硅谷 彭宇新,NgoChong-Wah,郭宗明,肖建国. 中文科技期刊数据库.北京大学计算机科学技术研究所.2004 [7] ]曹莉华 胡晓峰.基于内容检索中的视频处理技术研究[J].计算机工程与应用