数字视频信息的索引研究.docVIP

数字视频信息的索引研穴 1、引言 视频（Video）是源于广播电视业的术语，指内容随着 时间变化的图像（Picture）序列，也称为活动图像 （MotionPicture）o广义的视频有电影、电视和计算机动 画等不同类型，狭义上的视频主要是指电视类视频。 视频是一种重要的视觉信息源。随着各种数字影像设 备的发展与遍及，以及多媒体技术和Internet的发展，人 们面对的视频信息种类迅速地增长，如电影、电视、视频 会议、监控录像等。仅中央电视台（CCTV）截至XX年就保 存有约3 0万盘视频节目，目前CCTV开设有15套节目（日 出量超过3 00小时，其中约有1/3是首播节目）、6套付 费电视频道，以每天保存80-90h的首播节目计算，每年 新增节目将会达到3万小时以上［1］。面对如此巨量的视频 信息，人们迫切希望改进传统的对视频数据的线性查找方 式，研发出能够快速定位和部分析取的视频数据获取技术 要达到这样的目标，首先需要将视频数据有序化，即对视 频信息进行有效的索引，使之便于检索［2］。 从目前来看，数据库信息、文本信息、图形图像信息 的检索已进入成熟期，已有许多实用的检索工具和产品， 而视频信息的检索目前还处于研宄阶段，虽然已有一些实 验原型和个别针对特定领域的检索工具，但目前还无普遍 实用的工具和产品。其主要原因是，与其他信息（如文本、 像等）相比，视频信息主要有如下一些特点： （1） 信息内涵丰富； （2） 无“显式”的结构； （3） 存档方式、视频格式和编码标准较多； （4） 数据量大。 近年来，许多研宄人员在文本信息、图形图像信息检 索技术的基础上，对视频信息检索技术进行了大量的研宄， 研究内容涉及视频信息的存储组织、内容分析、特征抽取、 索引方法、匹配算法、检索算法、检索结果的评估和视频 信息的表现形式等诸多方面。本文在分析视频信息的隐含 结构基础上，研究视频信息的索引对象、索引模型和索引 结构。 2、视频信息的隐含结构与索引对象 目前的视频文档都是以节目（或称为作品）为单位表 现某个主题，其数据在组织时无“显式”的结构和索引信 息（如同一本无目录和章节标题的书籍），用户只能采用线 性方式观看和欣赏。传统的视频信息的消费往往是以节目 为单位进行的，即查找某一电视节目（电视片、广告片、 某场体育比赛等），但不同类型的用户（消费型、研究型、 创作型和应用型［3］），在不同的场合下（通过电视、网络、 PDA、移动电话等）可能有不同的视频消费要求，即可能需 要以镜头、场景或故事单元为单位进行消费。例如，篮球 教练需要查找“姚明进攻”的视频镜头、司机在“塞车” 时利用PDA收看某场足球比赛的精彩片段或画面等等。所 以，对视频信息进行“结构化”，并针对不同的结构层次对 象进行索引，是实现基于内容的视频信息检索的基础。 视频信息的隐含结构 从形式上看，视频信息本身是一种无“显式”结构的 流媒体，即数据流本身无明显的“章节、段落”结构，但 从构成和语义上看，视频信息蕴涵着帧、镜头、场景、故 事单元和节目这样的层次型结构。其中，帧、镜头和节目 是视频信息的物理组成成分，而场景和故事单元则是语义 上的逻辑组成成分。 视频是内容随着时间变化的图像序列，其最小组成单 位是帧（Fram e），即一幅幅静止图像；针对一个对象或事 件的、摄像机一次拍摄产生的帧集合称为一个镜头（Shot）; 发生在某一场地的、针对某一对象、具有相对独立的叙事 情节的一个或多个连续镜头构成一个场景（Scene）;故事 单元（Story Unit）是指针对某一事件的、具有相对完整的 故事情节的一个或多个连续场景的集合，例如电视连续剧 中的每一节节目、NBA比赛中的每一节比赛；节目 （Program）是独立的完整的视频文档，通常表述一个完整 的故事或事件。视频信息的这种隐含结构，可用如下的数 学模型表述： shot= {fram e[, i] | il} scene= {sho t [i] | i^l} story_uni t= {scene[, i] | i^1} p rogram= {st ory_unit [，i] | i^l} 视频索引对象的分割与选取 视频信息蕴涵着帧、镜头、场景、故事单元和节目这 样的层次型结构，为了满足不同的应用需求，视频信息的 索引应在各个层次上分别展开，即对视频信息的索引，不 仅要以节目为对象，而且需要在视频分割的基础上以帧、 镜头、场景和故事单元为对象分别进行索引。节目和帧是 视频信息固有的自然层次，而镜头、场景和故事单元则要 通过对视频内容的分析、采用各种算法进行分割才能得到。 （1）巾贞对象的选取 虽然帧是视频信息固有的自然层次，但一个视频文档 由太多的帧组成（每秒2 5—30帧），且帧之间存在大量的 信息冗余以及用户不感兴