1一种新视频运动活动性描述与检索方法.pdfVIP

1一种新的视频运动活动性的描述与检索方法 曾炜1 高文1,2 袁禄军2 1 ( 哈尔滨工业大学计算机科学与工程系，哈尔滨，150001) 2 ( 中国科学院计算技术研究所，北京，100080) 摘要 本文提出一种基于局部活动性直方图(LAH)描述视频运动活动性的方法。该方法首先对 视频进行运动分析得到二维运动矢量场，然后在此基础之上形成强度标记图(STI) ，并用一 个空间模板扫描STI，得到局部活动性直方图来描述运动矢量的空间分布，最后结合运动矢 量的强度信息和LAH 形成视频运动活动性描述子。实验表明，本文提出的方法具有较高的 检索精度并支持灵活的区域检索机制。 关键词 视频检索 特征提取 运动矢量 视频活动性 区域检索 中图法分类号：TP391 1 引言 基于内容的多媒体检索技术(CBIR)是多媒体领域的一个研究热点，旨在对多媒体提供强 有力的描述，实现媒体的结构化，最终达到对多媒体的自由访问的目标。目前，这一领域出 现了大量的研究成果，如 IBM 公司的QBIC 图像、视频检索系统[1]、MIT 媒体实验室的基 于交互学习思想的PHOTOBOOK 图像检索系统[2]、 依利诺斯大学的Thomas Huang 教授的 课题组实现的基于相关反馈的 MASRS 图像、视频检索系统[3] ；哥伦比亚大学电子工程系 Shi-fu Chang 教授的课题组的基于对象的VisualSEEK 视频检索系统[4] 。与此同时，运动图像 专家组(MPEG)也于 1996 年启动了MPEG-7 标准 ( 多媒体描述接口) 的制定，旨在提供一种 有效的多媒体描述机制，规范多媒体描述的接口，实现多媒体描述的标准化。 视频检索的内容表示往往建立在底层视觉特征的基础之上，主要有颜色、纹理、形状、 运动等视觉特征。视频运动特征主要有：摄像机运动的主运动、视频序列帧间的运动模型、 运动对象的轨迹等。为了描述人类对视频运动的感知，研究者提出视频运动活动性[5] 的概念。 所谓视频的运动活动性，简称视频活动性，是指视频序列给用户视觉上的感知运动强弱程度。 比如，当人们在看视频节目时，总会有一种节奏感，感到故事的情节是紧张或者是舒缓的， 活动性的概念正是描述这种紧张或舒缓的感觉。视频活动性描述也是 MPEG-7 视频运动特 征描述中的一部分。在已有的研究中： 美国先进电视实验室的Ajay Divakaran 等人[6] 以MPEG 码流中宏块的运动矢量为基础， 检测每个 P 帧中具有较强运动的块连接而成的区域大小，形成不同面积的活动区域的直方 图，以此描述视频镜头的活动性。这种方法主要问题是直方图的活动性级数需要人工指定， 限制了该方法的应用范围，当镜头数目很多时，手工指定活动性级数是不现实的。 新泽西理工学院多媒体中心的Kadir A. Peker 等人[7]用计算相邻两帧之间块运动矢量模 的均值和相继三帧对应块之间的运动差矢量模的均值作为活动性描述。这种方法没有利用运 动矢量的空间分布信息，描述能力有限。 .1本文得到中科院知识创新工程重点项目“面向4C 融合的宽带网络交互多媒体系统”支持，项目编号：KGCX 2-103 [8] MPEG-7 的实验模型中采用强度和游程（RUNLENGTH ）信息 来描述视频的活动性。 这种方法既利用了运动矢量的强度信息，又利用了运动矢量的空间分布信息，具有较强的描 述能力。但是，由于游程采用 Z 型扫描时连续的低活动性块的个数为特征，受视频图像大 小的约束，不能对任意大小的区域进行描述。 为此，本文首先由相邻两帧之间的运动矢量场生成强度标记图；然后基于空域模板的思 想，采用一个n 邻域空间模板扫描该标记图，统计其中不同类型的空间模板个数，得到局部 活动性直方图来描述运动信息的空间分布。实验结果表明，采用这种描述方法具有检索精度 高，支持灵活的区域检索方式的特点。 2 算法描述 2.1 基于活动性描述的视频检索框架 视频的运动描述可以分为三个层次，第一个层次是基于对图像像素点运动的低层运动描 述，如光流场等；在低层描述之上，进行适当的综合，可以得到运动的中层描述，如object、 blob 对象