基于内容的视频分析技术和MPEG-7标准.pdfVIP

基于内容的视频分析技术与MPEG-7标准‘ 赵黎，黄剑，杨士强 清华大学计算机系北京100084，中国 摘要： 目前有关基于内容的{慵库的研究都主要集中在寻求更好的方式去管理和 索引视觌数据，所以视频内容分析就成为了视频研究的最基蕃任务．多媒体内容描 速接口岬EG-7标准的目的是提供一套标准的描述工具．以实现多媒体信息的创建、 交换、检索和重用．本文旨在将视频分析争MPEG-7标准这两个相关领域的研究结合 起来．讨论了视频分析的一些方法和MPEG-7标准的目标及其实现框策：囊后钟对分 析的结果，建立一个基于内容的视频数据管理系统，用户可以通过基于内容的检索、 浏览等多种方式来访问视籁敷据． 关键字：视频结构分析，珊Ec一7，多媒体内容描述．镜头，场景 1． 引言 视频是多媒体信息中表现力最强，最令用户满意，但也是最复杂的信息形式． 随着网络带宽和计算帆处理能力的提高，越来越多的视频数据被产生，这样兢带来 一个基本的问题：如何在海量的视频库中快速、方便地找到用户所期望的内容．现 有的搜索引擎一般只能提供基于文字或者文件名的检索，然而人们更希望能对视频 video retrieval)，比如对于用户来讲．最直 数据进行基于内容的检索(content-based 观和方便的检索方法就是，用户向检索系统提交一幅查询图像或视频段，然后检索 系统按照内容上的相似性顺序向用户返回视频库中的～组视频段．作为检索的结果。 从实用角度看，对数字视频内容进行有效、自动地组织与管理是视频库的关键 问题．髓着网络的发展．网络上各种视频应用都急需一种智能的快速内容过滤和有 选择的内容分发功能．视频内容分析就是从视频节目中抽取出结构单元的信息．这 些信息，尤其是语义这一级的信息周人对视频内容舶表述是—致的，这也是对视频 作基于内容管理和检索的基础． 在本文中，我们在对视颓内容分析的基础上，利用MPEG-7标准对视频分析的 结果进行标准化描述，并建立了一个基于MPEG-7的视频浏览与检索系统原型． 本文的组织结构如下：在第二节中将给出视频结构分析的相关算法；第三节则 介绍有关MPEG-7标准的内容；第四节给出了我们利用MPEG-7描述方法对视频结 构进行表述的方法和在此方法上建立的视频库的应用；第五节为结论． 2． 视频内容分析 由于视频是一段无结构的连续媒体．所以有效地对视频进行获取不象对文本数 ’本文研究内容由田家973(G1999032704)项目支持． ●146‘ 据获取那样容易．视频结构分析就是从视频节目中抽取出结构单元的信息．这些信 息尤其是语义这一级的 信息同人对视频内容的 表述是一致的，这也是 对视频作基于内容管理 和检索的基础． 视频结构单元通常 可以分作两层：镜头和 场景(见图1)．镜头由 一组连续的视频帧组 成，通常表示时间或空 图l：视频分层结掏图． 间上连续的事件。视频 场景由一些语义相近的镜头组成，包舍一定的故事情节．有关视频结构分析的早期 工作都集中在视频镜头的边界检测上，并且提出了很多镜头检测的方法．进行镜头 边界检测后，就可以抽取出相应的关键帧，然后再用图像分析的技术理解视频镜头 的内容。与直接存取原始的无结构视频流相比．基于镜头的视频分析方法显然给用 户带来了更方便的存取方式．但是，基于镜头的褪频分析方式还不艟进行非常有效 地铡览和检索，所以如果能够抽取场景的结构信息就能档帮助用户更好的建立视频 的摘要和索引以便于浏览和检索．进一步．场景可以定义为一个或多个语义相近的 镜头的集台，或者说是在事件、地点、时问等条件下有者相似的“内容■可l：【这样 认为，镜头表示视频序列物理上的边界．而场景表示视频序列语义上的边界．显然， 寻找语义上的边界(场景)比寻找物理上的边界(镜头)要困难许多． 2．1镜头边界检测及关键帧提取 视频结构分析的第一步就是要确定最小的信息单元(境头)，圈绕着这个闫题， 近年来提出了不少的解决方法，包括镜头边界检测和边界特技检测算法等等．这些 算法的主要依据是：一段镜头的内部．相邻帧之阃有很大的连续性瓤相傲性。面一 旦发生了镜头切换，这种连续