基于内容的视觉信息检索.doc

基于内容的视觉信息检索 姓名 高福娜 院系 信息与电气工程学院 专业 计算机科学与技术 年级 计本2班 学号 20122212611 指导教师 周树森 2014年12月1日 基于内容的视觉信息检索 高福娜 （信息与电气工程学院，计算机科学与技术，12级计本2班，20122212611） 摘要：随着多媒体技术及计算机网络技术的迅速发展，多媒体已广泛地应用于如公共信息业、广告、教育、医学、商业及娱乐等多个领域。数字视频的传播也变得越来越容易，数字电视、多媒体广播、视频会议已经开始逐步走入人们的日常生活中，视频也己经逐渐成为人类信息传播的主流载体之一。当今，人们面临的问题已不再是视频内容的匮乏，而是面对浩如烟海的视频信息，如何快速、有效地找到自己需要的内容，已经成为了迫切的需求。故本文分析了现有的视频检索理论框架，对以文字信息为主要特征的视频检索系统关键技术进行了研究。 关键词：?基于内容的检索；视频检索技术；检索系统 前言 本文主要对视觉信息检索（Visual?Information?Retrieval，简写为?VIR）系统特别是基于内容的视觉信息检索（简写为CBVIR）系统领域作了一个综述。阐述了视觉信息检索和基于内容的视觉信息检索的概念，基本原理，发展方向，该领域的一些主要概念以及系统设计时所面临的主要问题等等，并回顾评价了当前已有的一些系统原型以及商业上的解决方案，同时指出了该领域中比较有前途的研究方向。 二．本论 随着数字存储和网络技术的发展,要生成、分析、存储和转换的多媒体信息量急剧增加,越来越多的数字文档中包含着文本、图像、音频和视频等多种媒体类型。当前,多媒体信息已成为人类信息的主要表示方式和内容,在这种形势下,信息访问和查询方式将向着以多媒体信息检索为主的方向发展。以图像和视频为主的视觉信息是多媒体信息的重要组成部分,因此,对大型图像和视频数据库进行有效、快速的检索已经成为一个亟待研究的问题。 2.1什么是视觉信息检索 视觉信息检索（VIR）是计算机科学与工程学科中一个相对比较新的研究领域。与传统的信息检索类似,VIR系统的主要目标是检索出所有的与用户的查询相关的图像（或图像序列），同时在检索的结果中应尽可能的去掉不相关的图像。对信息的检索与对数据的检索的着重点恰恰相反。视觉信息检索系统必须能够解释文档（图像）的内容并将它们按照与用户查询的相关程度进行排列。这个解释过程包括从文档（图像）里抽取（语义）信息并用这些信息与用户要求进行匹配。 2.2视觉信息检索的分类 VIR系统根据用于查询检索图像或视频文件的属性的不同可以大体上可以分为两代：? ??第一代VIR系统：使用文本进行查询，例如查询“黑色的帽子”或者“莫扎特的作品”。它们非常依赖于元数据（字符串，关键字，或者完整的脚本full?scripts）? ??第二代（CB）VIR4个层次，其中，镜头是视频检索的基本单位，是摄像机一次操作所拍摄的图像序列。对视频建立索引，首先要将视频分割为镜头。镜头检测即找到镜头与镜头之间的切换，并找到切换前后的差异。镜头切换包括渐变和突变，针对不同的情况需使用不同的检测技术。常用的镜头检测方法有：? 2.3.1.1模板匹配法? 该方法将两帧对应像素差的绝对值之和作为帧间差，若大于某阈值便认为有镜头切换。这种方法对检测镜头突变很有效，但对镜头中的运动物体，也可能计算出大于阈值的帧间差，造成错误判断，所以阈值较难确定，该方法也容易受噪声影响。? 2.3.1.2直方图法? 该方法利用帧与帧的直方图比较来检测镜头，是使用得较多的计算帧问差的方法。它将颜色空间分为一个个离散的颜色小区，计算落入每个小区的像素数目。这种方法不考虑像素的位置信息，因此抗噪声能力比模板匹配法强。它的缺点是两幅结构完全不同的图像其直方图也可能相近，因而检测不出镜头切换。? 2.3.1.3基于边缘的方法? 该方法将两幅图的边缘提取，利用镜头切换时出现的新边缘与消失的旧边缘的像素比例，若两者最大值大于某阈值，则认为有镜头切换。这种方法在边缘不明显时识别效果比较差。 2.3.1.4基于模型的方法? 基于模型的方法对于检测镜头渐变有很好的效果，它可建立一套基于数学模型的系统方法，对特定领域视频可通过数学模型上加一定的限制条件来提高方法有效性。这种方法建立数学模型过程较复杂，适用于专业领域。 2.3.1.5压缩域法? 目前越来越多的视频数据以压缩形式保存，这就需要对压缩视频进行镜头检测。压缩域的方法就是基于这种思想出现的。可以利用运动向量及运动补偿宏块等信息进行。? 2.3.2关键帧提取技术? 检测出镜头之后，要进行镜头关键帧的提取。镜头关键帧是反映镜头主