基于内容的视频检索.pptVIP

*五、关键技术视频镜头检测技术关键帧提取技术视频特征提取技术镜头聚类和场景提取视频浏览和检索*5.1视频镜头检测技术对视频建立索引，首先要将视频分割为镜头镜头检测的关键是确定从镜头到镜头的转换处，并利用镜头之间的转换方式找到镜头图像之间的差别镜头的切换方式有两种:突变和渐变 *镜头切换方式:突变切换突变是指从一个镜头直接切变到另一个镜头*镜头切换方式:渐变切换渐变是指从一个镜头慢慢切变到另一个镜头*常用的镜头检测方法主要有以下几种:基于像素的镜头检测方法1.模板匹配法（对应像素法）2.直方图法基于边缘的方法基于模型的方法*模板匹配法（对应像素法）将两帧图像对应象素差的绝对值之和作为帧间差,如果前后两帧的帧间差变化超出某个阈值,则认为有镜头的切换。优缺点:对检测突变镜头很有效,但对摄像机和物体的运动非常敏感,当运动较大时,相邻两帧的差异往往会超过预定的阈值,从而产生误检。*当主体运动较大时,常发生误检*直方图法该方法利用帧与帧的直方图比较来检测镜头，是使用得较多的计算帧间差的方法。基本原理:将颜色空间分为一个个离散的颜色小区间，然后计算落人每个小区间的象素数目，得到图像的直方图统计，通过比较两帧图像的直方图统计得到帧间差。优缺点:不考虑像素的位置信息，抗噪声能力比模板匹配法强。当具有不同目标的场景有近似的灰度或颜色直方图时容易造成漏检。**基于边缘的检测方法该方法将两幅图的边缘提取，利用镜头切换时出现的新边缘与消失的旧边缘的像素比例，若两者最大值大于某阈值，则认为有镜头切换。缺点:这种方法在图像较暗或边缘不明显时往往会造成误检和漏检。*基于模型的方法利用对镜头编辑的先验知识,对各种镜头切换建立一定的数学模型,自顶向下地进行镜头切换的检测,对特定领域视频可通过数学模型加上一定的限制条件来提高方法有效性。因此这种方法对镜头渐变的检测往往能取得好的效果。建立数学模型过程较复杂,适用于专业领域*模板匹配法、直方图法、基于边缘的方法都是利用帧间差自下而上来进行镜头边界的检测,它对于突变检测可以取得较好的效果,但是对于渐变检测则有一定的困难,因为它在很大程度上忽略了渐变切换中帧之间结构上的相关性*5.2关键帧提取技术关键帧的作用类似于文本检索中的关键词。用关键帧来代表镜头,使得对视频镜头可用图像的技术进行检索关键帧的选取的条件: 1.必须能够反映镜头中的主要事件,因而描述应尽可能准确完全. 2.为便于管理,数据量应尽量小,且计算不宜太复杂。*关键帧提取的基本方法特定帧法帧平均法和直方图平均法基于光流的运动分析*特定帧法一段视频被分割成若干镜头后,一种最直接、最简单的关键帧提取方法就是将每个镜头的首帧、中间帧以及末帧作为镜头的关键帧。特定帧法思路、实现都很简单,但这种方法不能反映镜头内视频内容的变化,不适于用在视频内容变化较多的镜头内提取代表帧*帧平均法和直方图平均法帧平均法是取一个镜头中所有帧的某个位置上的像素值的平均值,将镜头中该点位置的像素值等于平均值的帧作为关键帧直方图平均法则是将镜头中所有帧的统计直方图取平均,然后选择与该平均直方图最接近的帧作为关键帧*优缺点:使用帧平均法和直方图平均法能在一定程度上反映视频内容，计算量也不大，所选取的帧具有平均代表意义，但是由于需要记录每一帧每个像素的值或直方图，所以要实现动态选取，所需的存储量较大。无法描述有多个物体运动的镜头。*基于光流的运动分析上述方法都没有考虑运动特征。通过光流分析来计算镜头中的运动量,在运动量取局部最小值处选取关键帧,它反映了视频数据中的一个“静止”特点,视频中通过摄像机在一个新的位置上停留或通过人物的某一运动的短暂停留来强调其重要性。光流 光流场*首先通过Horn-Schunck法计算光流,对每个像素光流分量的模求和,作为第k帧的运动量M(k),即其中Ox(i,j,k)是k帧内(i,j)像素光流的X分量,Oy(i,j,k)是k帧内像素(i,j)光流的Y分量。*然后寻找M(k)的局部最小值:从k=0开始,扫描曲线M(k),找到两个局部最小值M(K1)和M(K2),M(K2)的值与M(K1)的值至少相差p%(由经验设定),如果M(Kj)=min(M(K)),K1KjK2则把Kj选为关键帧。然后把K2作为当前的K1,继续寻找下一个KjWolf的这种基于运动的方法可以根据镜头的结构选择相应数目的关键帧。如果先把图像中的运动对象从背景中取出,再计算对象所