基于内容视频检索在电视会商多媒体数据检索中应用.pdfVIP

基于内容的视频检索在电视会商多媒体数据检索中的应用 谷军霞， 姚鸿 （国家气象信息中心） 【摘要】：电视会商系统的 VOD视频点播录制了大量珍贵的多媒体数据。为了提供更丰富的检索 服务，本文分析了基于内容的视频检索方法在电视会商多媒体数据检索中的应用。首先，介绍 了基于内容的视频检索方法的一般流程、相关技术和现有系统，之后，根据电视会商双流视频 数据的内容特点，重点分析了人脸检测与识别和文字检测与识别这两项关键技术在电视会商数 据检索中的应用。在电视会商多媒体数据检索中应用基于内容的视频检索技术可以为用户提供 更丰富的检索内容，提升电视会商的服务水平。 【关键词】：基于内容的检索，电视会商多媒体数据，人脸检测与识别，文字检测与识别 1．引言 全国天气预报电视会商及电视会议系统( 以下简称“电视会商系统”) 的 VOD 视频点播提供 了天气预报会商、电视会议、远程培训等内容的多媒体直播和点播服务，有效地拓展了电视会商 系统的服务范围。随着使用时间的增长，VOD 视频点播系统中已存储了大量的电视会商多媒体 资料。截至 2010 年 4 月，VOD 视频点播系统保存的全部影像资料共约 1TB，并以平均每日约 1GB 的量递增。面对信息量如此巨大的多媒体数据，如果没有一个良好的搜索技术，用户将很 难找到所需要的数据。用户如何能快速、准确地检索到需要的数据已成为电视会商系统多媒体数 据检索服务面临的一个重要问题。 目前，VOD 视频点播系统仅提供了按照名称和录制时间的检索。而用户往往更关心电视会 商多媒体数据中包含的内容。例如，用户希望获得“台风圆规”或“舟曲泥石流”的天气会商视 频片段、用户希望获得河北省发言所有视频片段、天气预报员希望学习某位首席的预报技术等。 传统的基于关键词的文本检索方法已难于有效描述和检索多媒体数据中包含的丰富信息。 从 20 世纪 90 年代开始，基于内容的视频分析和检索技术成为研究的热点问题[1] 。基于内容 的检索是对多媒体对象的内容及上下文语义环境进行检索[2]，一般流程为：①提取图像或视频的 特征，如颜色、纹理、形状、运动等低层视觉特征以及对象、对象的空间关系、场景、行为、情 感等高层语义特征；②建立图像或视频的内容索引；③计算多媒体数据库中的数据与查询数据的 相似距离，按相似度匹配程度返回检索结果[3] 。 本文将介绍基于内容的视频检索技术，并分析该技术在电视会商多媒体数据检索中的应用。 本文第 2 节介绍了通用的基于内容的视频检索方法，包括视频中“内容”的涵义、基于内容的视 频检索方法的流程、相关技术和现有系统；第 3 节根据电视会商双流视频数据的内容特点，重点 分析了人脸检测与识别和文字检测与识别这两项关键技术在电视会商数据检索中的应用；第 4 节对全文进行了总结。 2．基于内容的视频检索方法 与传统的确定性文本检索相比，基于内容的视频检索方法面临更多的困难，因为同一个视频 1 57 [2] 数据往往包含多种内容 。视频中“内容”的定义是基于内容的视频检索最基本的问题。 2.1 视频中“内容”的涵义 视频数据中包含的内容可以划分为多个层次[1,4] 。第一层为原始视频数据和一些相关参数， 例如视频名称、视频格式、帧率、时长、产生时间等。在这个层次上，仅能根据视频的相关参数 进行文本检索，这也是 VOD 视频点播系统目前采用的检索方法。第二层为低层次的视觉特征， 如亮度、颜色、纹理、形状、运动等。在这个层次上，可以根据上述视觉特征进行低层次的内容 检索，这是现有基于内容的检索系统常采用的方法。第三层为高级的语义特征，如人物、车辆、 文字、行为、事件等，这个层次的语义特征描述了更丰富的内容，更符合用户真正关心的视频内 容的涵义。 2.2 基于内容的视频检索流程和相关技术 通常，一段视频可以划分为几个场景，每个场景包含一个或多个镜头，每个镜头由一系列连 续图像帧组成。因此，原始视频可以按照由粗到细的顺序划分为 4 个层次结构：视频、场景、镜 头和图像帧[5]，如图 1 所示。 图 1 视频序列的层次结构 根据视频的层次结构