基于内容的视频检索中的镜头分割技术.docVIP

PAGE PAGE 1 基于内容的视频检索中的镜头分割技术 　　摘要：图像视频在具体、生动、确切、高效等方面有许多优点，成为人类接受外界信息的重要来源。如何提高视频资源的检准率、检全率，其现实意义将非常重大，如何分镜头是视频检索的第一步，镜头分割技术显得尤为重要。 　　关键词：视频检索；镜头分割；镜头渐变；镜头突变 　　中图分类号：TP391文献标识码：A文章编号：1009-2374（2013）13-0085-02 　　随着经济社会的快速发展和科学技术的飞速进步，视频等多媒体格式的信息量越来越大，来源也更为广泛。视觉成为人类接受外界信息的重要来源，其中，图像视频信息是视觉信息的主要表达方式，它所包含的信息量也是海量的，远远超过了文本、图片等数据格式。图像视频在具体、生动、确切、高效等方面有许多优点，由于这些特点就使得人类最重要的通信方式主要为基于视频信息的通信方式和以视频格式传输或携带的信息通信方式。这种视频信息方式更形象、更生动、更直观，更能够贴近或者还原于实际。计算机传统上存储数据的方式是基于文本的。视频数据信息已成为我们日常生活中不可或缺的重要内容，但由于它携带的信息量较大，也成为阻碍其发展的瓶颈，如何提高视频资源的检准率、检全率，其现实意义将非常重大，视频检索的第一步就是镜头。 　　1镜头分割在基于内容的视频检索中作用 　　帧是指在数据和数字通信中，按某一标准预先确定的若干比特或字段组成的特定的信息结构。镜头是构成视觉语言的基本单位。它是叙事和表意的基础。在影视作品的前期拍摄中，镜头是指摄像机从启动到静止这期间不间断摄取的一段画面的总和；在后期编辑时，镜头是两个剪辑点间的一组画面；在完成片中，一个镜头是指从前一个光学转换到后一个光学转换之间的完整片段。场景是指电影、戏剧作品中的各种场面，由人物活动和背景等构成。连续的图像变化每秒超过24帧（frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这种连续的画面叫做视频。 　　视频序列由数个视频场景组成，通常指单独的某个视频文件或者视频片段。场景通常由一个或者多个镜头构成。镜头由多个连续的图像帧构成。图像帧指单幅静态的图像，是构成视频文件的最小单位。 　　在播放视频时，定格时的每一个画面就是一个图像帧。摄像机拍摄物体时产生的一段连续图像就是镜头，由多个帧组成。拍摄对象运动、光源亮度变化或摄像头运动等都能引起镜头内部图像发生变化。场景是连接视频底层数字特征与高层语义的桥梁，它由语义相关的若干个镜头所组成。这些镜头不一定是连续的，但是必然在语义上有某种相关性，例如：不同镜头中人物所处的相同场所、不同事件发生时所在的相同地点等。场景一般可以代表特定的子事件，而众多的子事件组成了一个视频序列所代表的整体事件。 　　镜头分割（ShotSegment），即把视频文件分割成若干个镜头。由于镜头与镜头之间一般有很清楚的边界，成为边界帧。则镜头分割的主要任务就是把这些边界帧从构成视频文件的所有帧中找出来，也就是使用计算机来顺序的检测视频文件的每一帧，判断其是否是镜头边界帧，这项工作亦称为镜头边界检测（ShotBoundaryDetection）。 　　分割后的每段视频片段都是一个独立的镜头，其中包含了能代表每个对应镜头的关键帧，这样就能通过提取关键帧来建立索引。因此，首先需要把视频序列分割成单个的视频镜头，然后再进行提取关键帧、提取视频片段整序、提取视频序列识别等。这有助于对视觉媒体从低层到高层进行处理、分析和理解的过程获取其内容并根据内容进行检索。 　　2基于内容的视频检索中镜头分割方法 　　镜头间转换一般包括渐变（gradualtransition）和突变（cuttransition）两种方式。所以相对应镜头间的转换，镜头检测研究方法也大致可分为镜头渐变和镜头突变检测研究两种研究方法。 　　直接将两个镜头连接就是镜头突变，它们中间不添加任何特效且不使用视频编辑技术。与之相反，镜头渐变则通过在两个镜头中间添加视频特效联接两个镜头。按照所添加的镜头间编辑特效的不同，镜头渐变技术包含溶解（dissolve）、叠化（Dissolve）、映射（Map）、擦除（Wipe）、划变（wipe）、划像（Iris）、淡入淡出（fade）等多种形式。 　　当前，主流的镜头边界检测算法可分为两类：基于压缩域的方法与基于象素域的方法。基于像素域的镜头切分主要是依据所拍摄对象的形状、纹理、颜色等特征从而实现镜头边界检测的原理。 　　总之，要实现视频镜头的分割，常用的方法就是计算视频中各连续帧之间底层视觉特征的帧差值F，再将F与预先设定或者自适应的域值T作比较，若FT，则镜头边界不存在，若F 　　近些年来，使用智能计算与机器学习的方法检测镜头边界的算法已经逐渐兴起。