基于BagofWords的视频匹配方法.docVIP

基于“Bag of Words”的视频匹配方法 李远宁1,2，刘汀1,2，蒋树强1，黄庆明1,2 （1中国科学院 计算技术研究所智能信息处理重点实验室，北京 100080；2中国科学院 研究生院，北京100039） 摘 要：面对海量的视频数据，高效的视频匹配和检索的方法显得至关重要。本文提出了一种利用 “Bag of Words”模型对视频内容进行建模和匹配的方法。通过量化视频帧的局部特征构建视觉关键词（visual words）辞典，将视频的子镜头表示成若干视觉关键词的集合。在此基础上构建基于子镜头的视觉关键词词组的倒排索引，用于视频片段的匹配和检索。这种方法保留了局部特征的显著性及其相对位置关系，而且有效地压缩了视频的表达，加速的视频的匹配和检索过程。实验结果表明，和已有方法相比，基于“Bag of Words”的视频匹配方法在大视频样本库上获得了更高的检索精度和检索速度。中图分类号TP311.134.3 文献标识码： 文章编号：1000-436X(2007)12- Video matching method based on “Bag of Words” LI Yuan-ning1,2, LIU Ting1,2, JIANG Shu-qiang1, HUANG Qing-ming 1,2 (1. Key Lab of Intell. Info. Process., Inst. of Comput. Tech., Chinese Academy of Sciences, Beijing 100080, China;2. Graduate School, Chinese Academy of Sciences, Beijing, 100039, China) Abstract: Video matching and indexing method plays an important role in video analysis. This paper proposes a “Bag of Words” based method for video representation and matching. First, we quantize all local features of all video frames into a dictionary of visual words. Then we represent each sub-shot of the video by a set of visual words. Finally, we create a revered index of visual words to speed the matching process of video clips. Our method not only takes local appearance and spatial information into account, but also compresses the representation of video content. Highly competitive experimental results show that our proposed method is more effective and efficient than former methods for video matching in large video dataset. Key words: video matching; visual word; bag of words; reverted index 1 引言 随着电视节目的积累和网络视频的普及，视频数据库的规模和容量正在迅速增加，于是自动地对大量的并且正在不断增加的视频进行分析和理解成为一项越来越紧迫的任务。与此同时，如何组织视频数据并实现快速检索也成为越来越重要的研究课题。 对于视频检索，现有通用的方法主要是通过手动的方法对视频中的内容进行标注，然后按照这种标注对视频进行组织和索引。这种方法的缺点是在大量甚至海量的视频样本空间中，使用手工标注是一件费时费力的工作，同时使用若干标注词或者文字段落很难将视频中全部的内容都表述清楚。所以从发展的角度来看，对于海量的视频存储组织与索引应当更多地从视频的内容出发，在视频库中找到与目标视频最匹配的视频。 大样本空间中的视频匹配技术是根据用户提交的待查询视频，在视频数据库中查找与其内容一致的视频片段。比如对一个包含多个广告的视频序列，在视频数据库中进行查找与其内容一致的视频片段，根据匹配查找的结果就能得到对应广告视频的具