一种视频镜头边界检索的方法及其的应用.docVIP

一种视频镜头边界检索的方法及其的应用 　　摘要：提出了一个基于关键区域色彩矩阵的视频镜头检测方法，详细地描述了这种方法的原理，并比较了该方法与其它方法的优缺点，最后阐释了该方法在视频内容检索系统中的运行策略。 　　关键词：关键区域；色彩矩阵；镜头边界检测；视频检索 　　中图分类号：TP317.4文献标识码：A文章编号：1672-7800（2013）001-0162-03 　　作者简介：曲佳佳（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为计算机视觉；吴亚东（1979-），男，博士，西南科技大学计算机科学与技术学院副教授，研究方向为计算机视觉；赵志弘（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为网络教育应用；刘江娴（1988-），女，华中师范大学信息技术系硕士研究生，研究方向为教育信息资源设计与开发。1研究背景 　　随着信息传播工具的迅速发展，视频已经渐渐取代文本、图像成为人们日常生活中获取信息的一个主要途径。由于视频信息数据量大、分辨率不统一、编码多种多样等特点，制约着基于视频内容检索的发展。因此，如何提高视频内容检测的准确度与效率，成为视频内容检索关注的问题。 　　为了对视频内容进行有效的组织，需要将视频分解为一个个基本单元，而一般认为视频的基本物理单元是镜头，一个镜头由一组摄像机连续拍摄得到的时间上连续的若干帧图像组成。镜头的自动分割是视频结构化的基础，也是视频分析和视频检索过程中的首要任务，镜头分割的好坏将直接影响到更高一级的视频结构化以及后续视频检索的效果。 　　2传统的镜头边界检测方法及其优缺点 　　传统镜头分割的主要思想为依据两帧图像的特征值的差值与给定阈值进行比较，如果差值大于给定的阈值，说明两帧的特征变化较大，判定两帧为不同的主题。在此两帧之间进行镜头分割；如果差值小于给定的阈值，则说明两帧的特征变化较小，判定两帧为同一主题，继续进行下两帧的比较。这种方法用公式表示为：D（In，In+m）＞T（1）（1）式中：In表示视频片段中第n个帧的内容，In+m表示视频第n+m个帧的内容。T为划定镜头边界的阈值，T一般根据实验经验来确定。 　　计算两帧差异D的方法可以分为两类：一类是基于图像的色彩特征计算帧间差异的方法；另一类是利用图像的形态信息计算帧间差异的方法。 　　基于形态特征的方法原理是首先计算出第n帧和第n+m帧的形态特征，如边缘特征、角点特征、纹理特征等，然后比较两帧在形态特征上的差异。该方法需要计算图像形态特征，时间复杂度较高，并且对画面的分辨率比较敏感，因此目前该方法应用较少，处于发展阶段。 　　基于颜色特征计算帧差异的方法原理是，首先计算第n帧与第n+m帧的颜色特征，常用的有直方图特征，色彩空间特征等，然后比较两帧在色彩特征上的差异。该方法计算较少，速度较快，是目前较为常见的方法。该方法的缺点是没有考虑到色彩在画面上的分布，对分辨率也比较敏感，对于颜色相近的镜头边界不敏感。 　　常用的镜头边界检测的方法将整个画面作为基准，提取整个画面的特征，并没有考虑到画面的构图以及前景与背景之间的关系。基于整个画面的方法一方面计算量特别大，尤其是计算画面的形状特征时，计算量尤其大。另一方面，提取整个画面的特征往往会忽略画面的构图特征，尤其在计算色彩差异的时候，整个画面的色彩差异往往不能真实地反映镜头的边界。 　　本文提出了基于关键区域色彩矩阵的镜头分割方法。通过设定画面关键区域，利用关键区域的特征进行镜头边界的检测。利用关键区域一方面大大减少了特征提取的计算量，另一方面能很好地反应画面的构图特征、画面前景与背景的特征。 　　3基于关键区域色彩矩阵的镜头边界检测 　　3.1电视画面结构及构图形式 　　电视画面主要包含主体、陪体、前景、后景、环境等。根据画面构图形式的外在线形结构的区别，可以将其分为水平构图、垂直线构图、斜线构图、曲线构图、黄金分割试构图、九宫格式构图、圆形构图、对称构图、非对称构图等。这几种构图形式可以表示为如图1的几种形式。 　　图1电视画面布局 　　A：上下结构：包括上下对称与不对称两种情况。属于水平构图。 　　B：左右结构：包括左右对称与不对称两种情况。属于垂直构图。 　　C：九宫格结构：这种构图能反映A、B两种构图特征。 　　D：斜线构图：能反映画面在斜线上的构图特点。 　　3.2关键区域的选取 　　本方法考虑到画面的构图与画面的前景与背景的关系，依据构图原理，设定关键区域如图2所示。 　　图2关键区域设定 　　区域1、3、5、6：反映画面的背景区域，同时这四个区域能代表画面的构图中的上下构图与左右构图以及斜线构图。同时区域1的选取避免了电视台台标干扰。区域3避免了电视画面时间的干扰。区域5