精选信息存储与检索第4章.pptVIP

《信息存储与检索》 第五节 基于内容的多媒体检索技术 4.5.1 基于内容的多媒体信息检索原理 1 4.5.2 基于内容的图像检索 2 4.5.3 基于内容的音频检索 3 4.5.4 基于内容的视频检索 4 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 （一）基于文本的多媒体信息检索的局限性 目前，常用的多媒体信息检索方法是基于文本的多媒体信息检索方法（Text-Based Retrieval，简称TBR）。该方法是针对多媒体的物理及内容特征，抽取出关键词进行著录或标引，建立类似于文本文献信息检索系统的索引数据库。这样，多媒体信息检索实际上就转化成为对多媒体信息进行描述的关键词检索。常用的抽取关键词的字段有文件名或目录名、多媒体标题、多媒体周围文本信息或解说文字等。 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 基于文本的多媒体信息检索方法的主要优点是技术简单，标引和检索方便。它的实质就是文本检索，只是检索结果和输出形式不同而已，因此它的应用与实施方式简单，实现成本也比较低。 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 然而，这种检索方式的应用是有局限性的。首先，它不能真正反映信息的内容。这种检索采用文本来表达多媒体的内容，检索对象的不一致决定了在这种信息传递过程中必定会有大量信息的丢失，这样就不可能完全反映信息的内容；其次，多媒体信息是一种抽象程度很大、随意性很强的信息，缺乏一般意义上的规范性，同样的信息不同的人会有不同的理解，这样便会使得在用文字描述多媒体信息时，不可能做出一个非常准确而完整的描述。 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 （二）基于内容的多媒体信息检索的特点及应用 所谓基于内容检索（Content-Based Retrieval，简称CBR），就是从媒体数据中提取出特定的信息线索，然后根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据出来。 从技术上将，基于内容的多媒体信息检索具有如下特点： （1）直接从媒体内容中提取特征线索。 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 （2）基于内容的检索是一种近似匹配，与传统信息检索的精确匹配方法有明显不同。 （3）特征提取和索引建立可由计算机自动实现，避免了人工描述的主观性，也大大减少了工作量。 （4）整个过程是一个逐步筛选和不断求精的过程。 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 （三）基于内容的多媒体信息检索系统的体系结构 媒体数据1 媒体特征 媒体数据2 媒体特征 … … 媒体数据n 媒体特征 多媒体数据库 用户 检索接口 多媒体数据 特征提取 插入模块 知识辅助 模块 查询模块 图4-7基于内容的多媒体信息检索系统的体系结构 资料来源：张维明，2002.多媒体信息系统.北京：电子工业出版社 * 《信息存储与检索》 4.5.1 基于内容的多媒体信息检索原理 （四）基于内容的多媒体信息检索的流程和指标 否 是 用户查询需求说明 示例 描述 计算特征并进行相似性匹配 返回一组检索结果 是否满意？ 结束 修改检索说明 从检索结果中选择一个示例，进行特征修正 图4-8 基于内容的多媒体信息检索流程 资料来源：苏新宁．2004．信息检索理论与技术．北京：科学技术文献出版社 * 《信息存储与检索》 4.5.2 基于内容的图像检索 （一）基于内容的图像检索的类型 （1）颜色检索 （2）形状检索 （3）纹理检索 （4）草图检索 （5）对象检索 （二）研究性基于内容的图像检索系统简介 （三）商业性基于内容的图像检索系统简介 * 《信息存储与检索》 4.5.3 基于内容的音频检索 （一）基于内容的音频检索的类型 基于内容的音频检索是指通过音频特征分析，对不同音频数据赋以不同的语义，使具有相同语义的音频在听觉上保持相似。根据音频信息的特征，音频可以分语音、音乐和其他声响，因此，基于内容的音频检索也可以相应地划分为基于语音的检索、基于音乐的检索和基于一般音频的检索三类。 （二）研究性基于内容的音频检索系统简介 * 《信息存储与检索》 4.5.4 基于内容的视频检索 （一）基于内容的视频检索的类型 基于内容的视频检索既能向用户提供基于颜色、纹理、形状及运动特征等视觉信息的检索又能提供基于高级语义信息的检索，具有在镜头、场景、情节等不同层次上进行检索的功能, 能满足用户基于例子和特征描述的检索要求。 （1）基于关键帧的检索 （2）基于运动特征的检索 （3）基于视频语义特征的