基于帧相似性度量的镜头检测方法.pptVIP

基于帧相似性度量的镜头检测方法 报告人：钮玥 镜头检测 镜头检测的基本概念 镜头边界的分类 镜头检测的基本方法 基本概念 镜头是从一个摄像机得到的一个不间断的帧序列， 它是由镜头边界划分的一个物理实体, 是视频的构建单位 ，而镜头检测的工作就是在视频中划清镜头的边界。 镜头边界的分类 切变（CUT） 渐变（GT） 规则渐变：淡入淡出，溶解，平移等等 非规则渐变 基本方法 基于帧比较的方法 基于边缘检测的算法 基于压缩域的算法 基于帧相似性度量的方法 基本概念 通过直接比较相邻帧的相似性来判断是否存在镜头切换 基本方法 用帧间距离D表示两帧的相似度，D越小表明两帧越相似，存在镜头切换的可能性越低，反之亦然，当D高于阈值T的时候，就可以认为存在镜头切换。 像素距离 像素距离DP： 其中Pk表示第k个颜色分量，ak表示权重系数 针对RGB颜色空间，DP： 其中k表示色深，Dp是一个介于(0,1)之间的数。 第一种方案 直接比较两帧的像素对，求两帧之间的平均像素距离作为帧距离，而阈值T是给定的。 公式如下： 优点与缺点 简单，思路清晰，是其他改进算法的基础 无法判断渐变镜头，对噪声和抖动十分敏感，不实用。 基于颜色直方图的帧比较 算法思路： 分别计算待比较两帧的颜色分布直方图，根据直方图的统计特征判断图像距离，再根据既定的阈值判断是否存在镜头边界。关于统计特征，常用以下两种统计量： Color Histogram： Χ2 Histogram： 其中，Hi(j)表示第i帧在第j个颜色等级下的分量，即满足整个帧中满足该颜色等级的像素数量。 优点与缺点 对抖动和噪声不敏感，稳定性好 当两帧颜色分布相近是会造成误判 基于块比较的方法 思路： 将帧分成r块，块内采用像素比较或者直方图比较，得出块距离，再利用块距离的统计特征分析，判断是否存在镜头切换。 优缺点： 对渐变有比较好的效果 算法复杂度比较高 基于像素差的统计特征和分块直方图算法 出处 CHENG Yong, YANG Xu, XU De等在 IEEE TENCON’02提出 思路 在利用颜色直方图的基础之上，用像素差的统计特征降低颜色直方图带来的误判，提高准确率。 简介 同时计算两帧像素差的统计特征V(i,i+1)和基于分块的直方图距离D(i,i+1)，利用滑动窗口自适应的产生阈值，先确定切变，再确定渐变。 像素差直方图 计算待比较两帧的像素距离p，计算像素个数针对像素距离的分布 以横坐标未p，纵坐标为像素个数N，可得如下示意图： 像素差直方图的方差 分析图可得如下结论： 如果图比较相似，该分布图的方差就比较大，如果图像之间没有什么关系，该分布图的方差就会比较小。 定义V(i,i+1)如下： 其中Hi,i+1(j)为第i帧和第i+1帧的像素差直方图中的第j颜色等级分量，N一帧的像素数，V(i,i+1)的取值在0,1之间。 基于块的颜色直方图 在本算法中，同时要计算基于块的颜色直方图距离，首先将每帧分成r块，按照如下公式计算D(i,i+1): 阈值分析 利用大小为200的滑动窗口W，TV取窗口内V均值的一半， TD取窗口内D的2倍。 由此，可以得到满足条件的边界集合ΩDΩV，其中ΩD∩ΩV可被视为切变镜头的分界。 针对渐变镜头，定义Y(i,i+1)=D(i,i+1)/ V(i,i+1)，取窗口内的Y均值的2倍作为渐变镜头的阈值。 实验结果 该文分别针对景物，教学片，和动画片的片段做了实验，结果如下： 参考文献 [1].A Method For Shot Boundary Detection With Automatic Threshold. CHENG Yong, YANG Xu, XU De. Beijing Proceeding of IEEE TENCON’02 [2] Automated High-Level Movie Segmention for Advanced Video-Retrieval System Alan Hanjalic, Reginald L. Lagendijk, Senior Member IEEE, and Jan Biemond, Fellow IEEE. IEEE Transactions on circuits and system for video technology vol 9 NO4 JUNE 1999 [3]. Comparison of Automatic Shot Boundary Detection Algorithms. Rainer Lienhart, Microcomputer Research Labs, Intel Corporation, Santa Clara