基于模型匹配和非监督学习的交互式视频检索框架AnInteractive.PDFVIP

基于模型匹配和非监督学习的交互式视频检索框架 李华北 胡卫明 中国科学院自动化研究所 模式识别国家重点实验室 北京 100080 摘 要：近年来基于内容的视频检索技术受到人们越来越多的关注。本文提出了一套基于模型匹配和非监 督学习的交互式视频检索框架，其贡献主要分为以下三方面：(1)定义了新型的视频序列特征——模型匹 配相关图用以精确描述视频序列的时空信息；(2)使用主导集聚类算法建立了基于非监督学习的检索机制， 用于降低在线计算复杂度和提高检索效率；(3)构建了交互式检索界面，通过人机交互实现检索框架的性 能提升。实验结果表明了本框架的有效性。 关键字：模型匹配相关图、 基于非监督学习的检索机制、 交互式检索界面 An Interactive Framework for Video Retrieval Using Model Matching and Unsupervised Learning Huabei Li Weiming Hu National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100080 Abstract: Content-based video retrieval has attracted increasing interests in recent years. In this paper we propose an interactive framework for vi deo retrieval using model matching and unsupervised learning. The main contributions of this paper are three-fold. (1) We develop a novel sequence feature named Model-Matching Correlogram to precisely measure videos ’ visual information and especially spatiotemporal information. (2) We establish an unsupervised learning-based retrieval mechanism using the Dominant Set clustering for the sake of low on-line complexity and high retrieval efficiency. (3) We implement an interactive interface to enable the framework’s auto-improvements by interactions betwee n users and the system. Experimental results show the effectiveness and efficiency of the proposed framework. Keywords: Model-Matching Correlogram, unsupervised learning-based retrieval, interactive interface. 1 引言 基于内容的视频检索(CBVR) 已成为多媒体分析领域中最热门的课题之一，它摆脱了人 工文本标注的传统方式，直接对视频数据所蕴涵的物理内容和语义内容进行分析与理解， 达到快速准确的检索效果。典型的 CBVR 系统通常包含以下三个关键问题：视频表征、检 索机制和相关反馈。 视频表征是指提取对象特征并定义对象间的相似度。从结构上讲，视频不仅是由图像 帧组成的简单序列，更是由关键帧、镜头、组和场景构成的层次结构[1]。从内容上看，视 频的内容主要由以下三种信息表达，即底层视觉信息、中层序列信息和高层语义信息。因 此，在哪个信息层次提取特征又