视频检索简介.ppt

基于内容的视频检索系统介绍Content-Based Video Retrieval System 卢燕飞 1.视频检索概述 传统的视频检索方法： 基于视频文本描述信息：文件名、注释等； Google 视频搜索 目前的问题 图像所包含的信息量远大于一般的文本； 大量的视频数据需要高效的视频搜索引擎 Growing number video clips on MySpace and YouTube 2.CBVR系统 CBVR两种主要的实现方面: Attribute based Object based CBVR 系统可以利用的图像特征: Color Texture Shape Spatial relationship Semantic primitives Browsing Objective Attribute Subjective Attribute Motion Text domain concepts CBVR系统的实现 CBVR系统实现的两个步骤 特征数据库的形成阶段 （镜头检测）Video shot boundary detection （关键帧提取）Key Frames selection （特征提取）Feature extraction 视频检索阶段 Similarity measure CBVR系统工作流程 （1）特征数据库 形成特征数据库的三个主要步骤： Shot boundary detection – partition, segments Key frames selection – select characteristics Extracting low-level spatial features like color, texture, shape, etc. 特征数据库的使用 最简单的视频特征数据库：视频内容的描述+视频本身； 目前视频检索的努力方向：实现自动的视频内容分析检索； 隐性语义索引 ：Latent Semantic Indexing (LSI) LSI 采用矢量空间模型进行数据提取 基本视频信息的分类：低级别的矢量空间的相似性比较； 矢量空间相似性的比较方法有很多： Cosine similarity measure 数据库产品对特征数据库的支持 专业的数据库产品，比如Oracle提供了新的针对图像的数据对象: ORDImage, 它可以包含四种不同的视觉属性： global color, local color, texture and shape. ORDImageIndex 提供了多维的索引结构，可以加速特征矢量的应用； 支持图像对象的数据库应用 Oracle example of joining two images of Picture1 and Picture2: CREATE TABLE Picture1( author VARCHAR2(30), description VARCHAR2(200), photo1 ORDSYS.ORDImage, photo1_sig ORDSYS.ORDImageSignature ); CREATE TABLE Picture2( mydescription VARCHAR2(200), photo2 ORDSYS.ORDImage, photo2_sig ORDSYS.ORDImageSignature ); SELECT p1.description, p2.mydescription FROM Picture p1, Picture p2, WHERE ORDSYS.IMGSimilar(p1.photo1_sig, p2.photo2_sig, ‘color=”0,6” texture=”0,2” shape=”0,1” location=”0,1”’, 20)=1; Note: Weighted sum of the distance of the visual attributes is less than or equal to the threshold, the image is matched. （2）图像检索 检索实例 允许采用样本图像进行检索 Image Retrieval Phase (cont.) 根据色彩特性来检索 Histogram intersection measures is a fairly standard metric to analyze histogram base on features. Image is divided into 5 sub-images, upper right, upp