信息检索与信息存储第11章多媒体信息检索.ppt

二、多媒体数据库结构与标引 1、多媒体数据库结构 （1）面向对象的关系数据模型 关系数据库中存储了多媒体对象的位置信息，如关键词、 文本标题、数据的存储路径及名称等描述信息 （2） 纯粹面向对象模型 OODB，利用ODQL语言实现数据库的查询，在SQL功能的基础之上增加了适合基于内容检索的机制，如复杂的信息建模能力。 （3）关系+面向对象模型 对象-关系型数据库（Object Relational Database,ORDB），在原有关系型数据库基础上增加描述非文本、非结构化数据的对象类和相应的对象支持功能，利用大二进制对象（BLOB）来存储和管理多媒体对象，以使数据库系统可以满足跨平台和不同媒体对象的应用 二、多媒体数据库结构与标引 2、多媒体数据库标引 （1）依外在特征的标引法——标签法 将多媒体信息某些显著的外在特征作为索引标识。 优劣分析： 显而易见，避免了内容分析的繁琐与艰难，相对简单。 但缺乏直观性，加重了用户的认知负担，若外部特征不明显或难以确定时，则难以行通。 二、多媒体数据库结构与标引 2、多媒体数据库标引 （2）以内容分析为主的标引方法 编码系统法：采用某种特定的编码系统来标识多媒体信息中分析出来的各个独立对象，并根据对象间存在的联系进行相应的代码拼接、组合，以完成多媒体信息的整体标引。 自由文本法（报告法）：利用自然语言的特点，将图像、声音等多媒体信息的内容用文字进行描述，揭示其内在的各种语义联系、时空关联性等，形成描述性的自由文本。然后，通过对该文本内容的概念进行标引，间接地完成对原多媒体信息记录内容的标引。 特征描述法：从图像、声音等多媒体信息中捕获人们感觉最明显的特征，如图像的形状、颜色，音乐的基调、序曲等主要特征，直接建立相应的“相似图像”索引与“相似声音”索引以便于描述和标引多媒体信息，是一种为人们所习惯使用的方法。 二、多媒体数据库结构与标引 2、多媒体数据库标引 （3）全方位语义分析法 基本原理： 强调内容特征与外在特征相结合，从整体到局部，从各个角度为各个对象建立全面的特征标引；并利用语义分析的方法，将各个部分、各个对象之间丰富的语义联系描绘成语义图的形式，一起存储在数据库中，从而建立多媒体数据库最全面、最精确的标引系统。 基本过程： a，从整体到局部，进行特征抽取； b，根据语义分析法建立相应语义联系； c，绘制相应的语义图。 多媒体信息检索 主要内容： 1、多媒体检索的意义和方法 2、图像信息的检索和利用 3、视频信息的检索和利用 4、音频信息的检索和利用 第一节 多媒体信息检索的意义和方法 一、多媒体信息检索的概念和意义 (一) 多媒体信息检索的概念 1. 多媒体信息的特征元数据提取、索引建库 2. 相似度匹配运算，识别和返回用户所需信息 3. 通过与用户之间的反馈，不断优化、调整显示结果 (二) 多媒体信息检索兴起的意义 多媒体信息的优势、视频网站的兴起、国内外的研究热点 三、多媒体信息检索的方法、原理及优劣分析 (一)基于文本的多媒体信息检索方法 原理：人工建立元数据标引，其本质与纯文本信息的检索并无二致。 普及程度：是现行网络检索系统中的主流方式。 检索方式：信息分类、扩展名、关键字段 优劣分析 优势：实现原理相对简单，技术成熟 劣势：①具有主观性，仁者见仁、智者见智。 ②多媒体信息的多维性，人工描述难以穷尽。 (二) 基于内容的多媒体信息检索 原理：特征量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。 常用文件特征： ①图像：颜色、纹理及时空关系等 ②视频：对象运动特征、颜色和光线变化等 ③音频：时域、频域、时频特征和音频片段等 普及程度：局限在较小的数据集合上，大多只是实验室研究成果 优劣分析 优势：源于多媒体内容本身的特征信息，具有客观性 劣势：①复杂度高 ②语言鸿沟 ③选取好的特征的难度大、特征的量化、建模、建立向量空间复杂。 讨论：此处的“语言鸿沟”应作何理解？ 比较基于文本的多媒体检索方法和基于内容的多媒体检索方法的优劣？ 第二节 图像信息的检索与利用 一、图像信息检索的原理 (一) 原理： 1. 提取其颜色、形状、纹理，以及对象空间关系等信息，建立图像的特征索引库 2. 检索匹配 (二) 特征提取方法：彩相关曲线图、边缘密度比较和灰度图像量化 (三)用户查询过程的表达: Q = {IQ,FQ,SQ,ZQ} IQ 代