iView——一個開放架構的數字視頻管理系統-Departmentof.doc

iView 一个开放架构的数字视频管理系统+ Michael R.Lyu 王炜* Edward Yau 施群山 香港中文大学计算机科学与工程系 摘　要：本文分析了一个基于多模态元数据提取，具有开放架构并且支持无线移动存取的数字视频全内容管理系统——iView。讨论了iView系统的需求，体系框架设计实现，描述了其中涉及的关键技术思想,并对存在的问题和研究方向做了简单探讨。 关键词： 图1 iView 系统体系结构图 视频媒体索引的构造是整个iView系统的核心，其基础是视频元数据。元数据是用于描述原始视频资源属性和内容的，机器可理解的智能化信息，或者说是关于视频数据资源的特征信息。正是自动/半自动抽取的元数据中独立的众多数据值以及对这些数据值的应用使得视频数据成为真正有用的可搜索的信息资源。虽然近年来在元数据定义以及视频索引领域取得了很大进步，例如MPEG7内容描述标准[7]，但本质上，具体的元数据提取所依赖的算法大部分基于信号分析，特定的元数据面向特定应用，无法适应普遍应用背景。这也是MPEG7只定义元数据的描述的根本原因。为提高系统的实用性，吸取以往经验， iView主要针对香港TVB电视台授权采集的2000年以来的部分TVB新闻节目构成的长达数百小时的新闻视频资产库的管理和检索来设计实现。 iView的开放客户/服务器逻辑体系结构如图1所示。整个功能框架可分为后端和前端两大部分。后端涉及数字新闻视频的压缩、采集、归档，多模态元数据的提取、索引、融合、以及人工修改、补充、完善和入库。前端涉及本地的或经由各种不同带宽条件的固定、无线移动网络的视频主题、片段或摘要的检索，基于多模态元数据融合关联可视化接口以及相应视频媒体递送组成部分。 视频内容与元数据相分离是iView系统设计的一个关键点，是系统开放性得以保证的基础。如上所述，元数据是自动、或半自动人工添加结合的有关视频内容的有高度价值的结构化数据，充当索引并提供对视频的存取。 开放性首先表现在这种分离使得iView能够集成很大范围内伸缩的数字视频格式和技术。无论最终视频存储模式是在线模式（磁盘阵列）、近似在线（磁带遥控设备）或是脱线模式（物理磁带），也无论视频是MPEG1,MPEG2, MPEG4或其它任何操作系统支持的格式，分离的元数据都能有效定位、跟踪和操纵视频的一个或多个再现。 可扩展的模块化体系也是iView系统设计的开放性考虑之一。因为解决广泛意义上的图像理解是非常困难的问题，典型的视觉分析一般限制在一个狭窄的问题领域。如何针对不同的视频应用领域构造、集成适用的视频元数据及索引对有效发挥系统的功效至关重要[8][9]。iView系统虽然目前主要针对新闻视频管理领域，但考虑到未来可能被集成到广泛的各种视频应用环境中，不同的应用领域需要不同类型的元数据分析，甚至在新闻视频管理领域，也会随着技术发展不断产生或更新更有效的元数据描述及算法[10][11]，因此，iView后端以系统软总线模式组织，提供一个开放、可扩展的支持多模态融合的视频媒体分析框架，方便加入新的特征抽取方法，以便紧密地集成和灵活配置各种现有以及未来可能的元数据分析捕获算法和第三方媒体管理程序，最终实现针对特定应用的定制。 各种媒体元数据分析插件遵从功能接口标准和数据交换标准，不仅可以直接处理原始数据（视频帧，音轨），也可以存取任何其它元数据分析插件生成的元数据。每种不同的元数据选择被定义为不同的模态。多种模态之间的协作可以完成对原始视频内容更全面的刻画。即成组的插件可以有效合作，交换信息，为视频索引提供完整框架。此外，符合接口和数据交换标准的元数据手工编辑模块也可以认为是一种人工干预的广义分析插件。 iView对新闻视频的采集，归档、元数据分析提取通过批处理结合手工编辑模式完成。其中批处理部分按照标准服务控制接口模式提供，一般无需用户干涉。对入库信息的编辑则使用浏览器/服务器体系，使用普通浏览器通过网络在任意桌面环境下进行，以摆脱环境对维护人员的束缚。 3. 多模态元数据及相关处理 iView系统的核心是开放的视频媒体分析框架，其功能在于高度自动化地建立一套丰富的多模态融合的结构化元数据索引。所有元数据就象解锁图书馆中信息价值的分类卡片一样，充当对原始视频内容的引用，并对其增值。在此基础上完成视频搜索、导航、预览，并迅速定位特定视频节段用于回放，在此过程中并不修改原始视频数据，也不关心原始视频数据物理存储。 做为索引素材的视频元数据可大致分为3类： （1）外部环境中包含的关于视频数据的各种不同形式的客观信息，包括创建时间、长短、格式、时序安排、Closed Caption文本或TELE文本以及其它的关联间接信息等等。 （2）通过用户编辑接口手工标注的片段标记和手工评注等。 （3）通过各种视