基于流形特征镜头边界检测后处理算法.docVIP

基于流形特征的镜头边界检测后处理算法 镜头是视频分析和检索的基础, 为了有效检测镜头边界, 并对镜头边界进行分类, 提出一种新的 镜头边界描述子: 镜头边界流形?? 视频流可以看做一个高维空间, 镜头边界流形是隐含在该空间中的局 部结构, 它能够有效区分镜头边界和非镜头边界, 以及区分不同类型的镜头边界?? 采用这种特征, 提出 一种后处理算法, 一方面去除预检测镜头边界的虚警, 另一方面将真正的镜头边界分类?? 实验结果证实 了镜头边界流行的有效性以及后处理算法的优异性能?? 关键词?? 镜头边界检测; 镜头边界检测后处理; 镜头边界分类; 拉普拉斯特征映射 中图法分类号?? TP181; T P37 ?? ?? 随着多媒体技术的发展, 对海量的视频数据进 行索引和检索已成为一个重要的研究课题?? 视频通 常是无结构的流, 为了方便对视频内容进行分析处 理, Rui 等人[ 1] 提出将视频流按内容进行层次划分, 从高层到低层分别为视频( video ) 、场景( scene) 、镜 头组( group) 、镜头( shot ) 和关键帧( key frame) ?? 镜 头是指摄像机从打开到关闭的过程中记录下来的一 组连续的帧图像, 它是组成视频的基本物理单位, 视 频索引和检索就建立在镜头边界检测的基础上?? 由于视频后期剪辑制作不同, 镜头边界大致分 为两类: 切变( cut ) 和渐变( gradual) ?? 渐变镜头边界 又分很多种, 主要包括淡入淡出( fade in??out ) 、溶解 ( dissolve) 和擦变( w ipe) ?? 镜头边界的类型能提供更 多高层语义, 比如, 一段排球比赛中, 直播镜头与回 放镜头之间的切换常常使用擦变?? 检索回放镜头时 可以在擦变镜头中寻找, 大大缩小了检索范围?? 因 此, 镜头边界分类对于视频分析与检索有重要价值?? 文献[ 2??3] 对多种镜头边界检测算法进行了比 较?? 以往检测算法的要点包括两个方面: 一是特征 ( feature)及度量( met ric) ; 二是针对度量的决策算法?? 特征用来刻画视频流中每一帧的视觉内容特性, 可 以是颜色[ 4] 、边缘[ 5] 或者压缩域上的参数[ 6] ; 度量 用来刻画视频流中帧与帧之间的特征变化, 文献[ 7] 对多种度量进行介绍并比较了它们的性能?? 决策算 法的任务则是根据度量采取一定策略和算法检测出 镜头边界?? 在现有的镜头边界检测算法中, 采用的特征有 像素值( 灰度值或颜色值) 、直方图以及MPEG 压缩 域上的参数?? 衡量帧间差异最简单的度量方法是计 算两帧基于像素点的距离, 但该方法对运动敏感, 容 易造成误检?? 直方图描述的是图像的全局信息, 一 定程度上可以减小运动对检测的影响?? 由于目前多 数视频采用MPEG 压缩标准, 直接在压缩域上提取 特征可以提高检测速度, 常用的压缩域特征包括DC 图[ 8] 、运动向量、预测宏块数、宏块的类型信息[ 6] 等?? 现有的针对度量的决策算法包括全局阈值法、自适 应阈值法、双阈值比较法[ 9] 、基于统计的决策算法?? 全局阈值法对整段视频序列采用一个全局阈值, 这 种方法最简单直接, 但鲁棒性差, 对于不同类型的视 频片段或同类型视频的不同时间片段需要设置不同 的阈值?? 自适应阈值法利用一个滑动窗口, 统计该 窗口内视频的局部特性, 根据统计特性设定动态阈 值?? 以上两种方法适用于检测突变镜头, 不能对渐 变镜头进行准确定位?? 文献[ 9] 提出的双阈值比较 法能够检测出渐变镜头的起始和终止位置, 但不能 区分缓变镜头边界的具体类型?? 本文把视频看做图像在时间轴上展开的一个高 维空间, 空间中的各点在时间轴上是局部相关的?? 镜头发生切换时, 高维空间的点呈现特有分布, 这种 相关性分布可以看做一个低维的流形嵌入在高维空 间中?? 我们采用流形学习的方法[ 10] 把它提取出来刻 画不同类型的镜头边界, 以这种特征为基础, 提出一 种基于学习的镜头边界检测后处理方法?? 1 ?? 镜头边界类型分析 镜头边界的编辑效果有很多种, 主要包括切变 和渐变, 渐变镜头边界又可以分为溶解、淡入淡出和 擦变?? 以下给出它们的数学模型?? 公式中, S??( x , y , t ) 表示镜头发生切换时镜头边界的各帧, ?? 表示镜 头边界的类型, S 1( x , y , t ) 和S 2 ( x , y , t ) 分别表示 切换前的镜头和切换后的镜头?? 1) 切变: 两_L___謃个镜头直接拼接在一起, 对于边界 处两帧, 所有像素值发生突然变化?? S cut( x , y , t ) = S 1( x , y , t ) ,