基于内容的多媒体检索.pptVIP

什么是基于内容的检索？ 基于内容的检索(CBR Content Based Retrieval)。所谓基于内容特征的检索是对媒体对象的内容及上下文语义环境所进行的检索。这类检索根据用户的要求，对文本、声音、图形、图像、动画等多媒体信息进行检索。基于内容的检索系统既能对以文本信息为代表的离散媒体进行检索，也能对以图像、声音为代表的连续媒体的内容进行检索。 基于内容的检索技术的提出 早期基于文本的多媒体检索也就是基于关键字的检索，通过对多媒体资料进行注释产生索引，简单易行。当今因特网环境下，网页信息采用自动采集和标引，这种技术同样适用于多媒体检索，如Google、Yahoo和百度等，它们采用的都是TBR技术。TBR技术能够用文本来表达多媒体的语义信息，符合人们的检索习惯，实现简单，可以充分利用已有的成熟的文本检索技术和搜索引擎技术。 基于内容的检索技术的提出 但TBR也存在许多缺点：首先，以图像所在的网页为依据，对图像进行自动标注，这种标注往往是很不准确的；其次，用文本表示图像的方式也不能满足用户对图像原始特征信息的检索。 为了克服基于文本的多媒体检索技术的局限性，研究者们提出了基于内容的检索，例如把图像的视觉特征，如颜色、纹理结构和形状、空间等，作为图像的内容表示，进行匹配、查找，即实现基于内容的检索(CBR)。 多媒体检索的两种方法 基于文本的多媒体检索(Text Based Retrieval，TBR) 基于内容的多媒体检索(Content Based Retrieval，CBR) 基于内容的多媒体检索 从多媒体对象的内容出发，抽取它们的特征并进行特征表示，在特征层面上进行相似度计算，得到检索结果。 如：基于颜色或形状的图像检索、哼一句歌找整支歌曲、基于概念的检索(如：检索有关“日出”的图片) CBR是当前大多数研究所关注的方法。 基于内容的多媒体检索 基于内容的多媒体检索 多媒体对象 分割 提取 内容描述 匹配检索 检索结果 相关的关键技术 数据模型 特征提取和语义获取 基于内容的编码 查询说明模式 索引和性能 集成查询 扩展性和灵活性 内容特征提取系统的体系结构 基于内容的多媒体检索的特点 是一种相似度检索。采用了近似匹配的方法而不是传统的精确匹配。 直接从内容中提取信息线索，直接对文本、图像、视频、音频、进行分析，从中抽取内容特征。然后利用内容特征建立索引并进行检索。 满足用户的多层次检索需求，检索系统通常由媒体库、特征库、和知识库组成。 大型数据库的快速检索，拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。 多媒体对象中的特征 视觉类媒体的特征：颜色、形状、纹理、空间约束、运动、对象(如太阳)、场景、语义(如日出)等等； 听觉类媒体的特征：音调、音量、音色、旋律、和谐度、语义(如爆炸声)等。 实例：基于内容的图像检索 图像的视觉特征： 颜色(color)：图像的颜色分布。 纹理(texture)：纹理是指图像局部不规则的而宏观上有规律的特征，人们区分纹理主要使用粗糙性和方向性两个方面。 形状(shape)：物体的边界特征或者主要轮廓。 基于内容的图像检索的方法 Junding Sun等人提出的对颜色直方图作出改进的考虑到空间特征的颜色直方图； Mislav Grgic等提出的基于纹理特征的检索方法； Sami Brandt等提出的多种基于形状特征的检索方法。 颜色直方图法 基于纹理特征的检索方法 基于形状特征的检索方法 谢 谢！