多媒体技术及其应用与发展.pdf

多媒体技术与应用

课题论文

学院：

姓名：

学号：

基于内容的图像检索技术综述

【摘要】随着多媒体技术的飞速发展，传统的基于文本的图像检索技术已经不能满足需求，

因此基于内容的图像检索（Content-BasedImageRetrieval，简称CBIR）应运而

生，并且迅速成为研究重点。本文叙述了关于CBIR的体系结构、技术流程及关键

技术

1

【关键词】基于内容的图像检索技术

1.引言

在当今数字化与网络化时代，多媒体已成为互联网信息高速公路上所传送数据的主要部

分。例如：图像、音频和视频等多媒体内容目前在www中占据15%[243],且该数据还在飞

速增长。同时，以网络、通信和多媒体数据处理为中心的多媒体应用业发展迅速：如视频点

播、数字化图书馆、多媒体检索和虚拟现实等。

多媒体检索方式和方法很多，在这里我们主要讨论一下基于内容的图像检索方式。首先，

解释一下什么是基于内容的多媒体检索，所谓基于内容的多媒体分析检索是指多媒体数据

（如视频、音频流等）所蕴含的物理的和寓意的内容进行计算机分析理解，以方便用户查询，

其本质是对无序的多媒体数据流结构化，提取语义信息，保证多媒体内容能被快速检索。

不同于文本信息，多媒体语义内容是通过多种媒质（如视频图像、音频和文字等）共同

表达与补充。因此，对于多媒体信息分析就要对蕴含在多媒体数据流内的所有媒质特征进行

分析，这些媒质包括：视频流中的图像帧，音频信号流，从视频图像中提取的字幕，由音频

信号转录得到的语音和三维虚拟物体等信息。在对这些媒质提取特征之后，就可以只用这些

特征来表征原有媒质，进而将连续的多媒体数据流分割称有语义信息的单位（如镜头和场景、

语音与音乐等），最后将这些语义单位识别分类成先前定义的模板类型，为它们建立索引，

方便检索与浏览。与文本信息检索相比，多媒体分析检索要复杂得多，一般分为四个主要步

骤;多媒体特征提取、多媒体数据流分割、多媒体数据分类和多媒体数据索引结构的构造与

检索。如图所示：

2

多

媒体数特征提取

据流

多媒

体数据流

分割

索引检

索

识别分类

早期图像检索使用的是文本标注方法，90年代初期，随着大规模数字图像库的出现，

有些问题变得越来越尖锐，为克服这些问题，基于内容的图像检索技术（content-basedimage

retrieval,简称CBIR）应运而生。区别于原有系统中多图像进行人工标注的方法，基于内容

的检索技术自动提取每幅图像的视觉内容作为其索引，如色彩、纹理和形状等。两者比较，

我们应该能认识到，基于内容的图像检索系统具有与传统基于文本检索系统完全不同的构

架。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特征的相

似度进行。用户通过选择具有代表性的一幅或多幅例子图像来构造查询，然后有系统查找与

例子图像在视觉内容上比较相似的图像，按相似度大小排列返回给用户。这就是所谓的通过

例子图像的检索（querybyimageexample）。另外，基于内容的检索系统一般通过可视化界

面和用户进行频繁的交互，以便于用户能够方便地构造查询、评估检索结果和改进检索的结

果。

2.CBIR的体系结构

CBIR系统一般包括四个模块：一是图像处理模块，包括输入图像和图像特征的提取，图

像输入过程是将图像输入到系统当中，类似于文本检索系统中文本录入过程，特征提取对用

户或系统标明的图像对象进行特征提取处理。二是检索模块主要实现检索匹配过程，根据相

关计算方法，实现提问与记录的匹配和筛选，最终得到符号要求的结果反馈给用户。三是对

象库与特征库。