多媒体信息检索技术.pptxVIP

多媒体信息检索技术与方法基于内容的图像检索技术基于文本的信息检索方法

多媒体检索技术与方法多媒体检索概念理解多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。

多媒体检索技术与方法(1)相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。(2)直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。(3)满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。(4)大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。多媒体检索的特点#2022

多媒体检索技术与方法基于内容的多媒体信息检索体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统

多媒体检索技术与方法多媒体信息检索过程用户需求媒体资源内容查询内容索引匹配

多媒体检索技术与方法多媒体信息检索分类音频检索视频检索多媒体检索单击此处添加正文。图像检索单击此处添加正文。文本检索

多媒体检索技术与方法基于内容的图像检索--图像检索的过程就是图像特征的提取、分析及匹配。特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。特征匹配：选择何种模型来衡量图像特征间的相似度。

多媒体检索技术与方法基于内容的图像检索工作原理用户01相关反馈02图像特征库03数字图像源04图像检索特征提取图像索引

多媒体检索技术与方法基于内容的图像索引技术：图像特征提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符形状无关矩其他形状特征空间关系特征基于图像分割的方法基于图像子块方法

多媒体检索技术与方法图像颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。

多媒体检索技术与方法颜色特征——颜色直方图，定义如下：其中ni为图像中颜色取值为i的像素个数，N为像素总数，K为可能的颜色取值范围。

这样计算得到的颜色直方图就是一个K维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。

多媒体检索技术与方法颜色特征——颜色矩这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。与颜色直方图比较，该方法的一个好处就是无需对于特征进行量化。设pij是图像中第j个像素的第i个颜色分量，则该颜色分量上矩的计算如下：图像的颜色矩一共有九个分量，每个颜色通道均有三个低阶矩。颜色矩仅仅使用少数几个矩，从而导致过多的虚警，因此颜色矩常和其他特征结合使用。

多媒体检索技术与方法颜色特征——颜色集提高检索的速度，Smith和Chang提出了用颜色集的方法，首先将RGB颜色空间转换成视觉均衡的颜色空间（HSV），并将颜色空间量化成若干个bin，然后运用颜色自动分割技术将图像分为若干个区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达成一个二进制的颜色索引表。在图像匹配中，比较不同图像颜色集之间的距离和颜