多 媒 体 技 术第6章.pptVIP

第6章 多媒体数据库与基于内容检索 6.1 多媒体数据库 6.1.1 多媒体数据管理的问题 (1)传统的数据管理 (2)多媒体带来的问题 (3)多媒体数据与数据库管理 1)字符数值 2)文本数据 3)声音数据 4)图形数据 5)图像数据 6)视频数据 6.1.2 多媒体数据库体系结构 (1)多媒体数据库的一般结构形式 1)联邦型结构 2)集中统一型结构 3)客户/服务型结构 4)超媒体型结构 图6.1 联邦型多媒体数据库结构 (2)多媒体数据库的层次结构 1)传统数据库的层次 图6.2 集中统一型多媒体数据库 图6.3 客户/服务器体系的多媒体数据库 2)多媒体数据库的层次划分 6.1.3 多媒体数据模型 (1)NF2数据模型 (2)面向对象数据模型 图6.4 传统数据库的三层模式 1)对象、属性、方法、消息 ①对象：在面向对象的系统中，现实世界所有概念实体被模型化为对象。 ②属性：组成对象的数据称为对象的 属性。 ③方法：定义在对象属性上的一组操作称为对象的方法。 图6.5 多媒体数据库层次示意图 ④消息：在面向对象的系统中，对象间的通信和请求对象完成某种处理工作是通过消息传递实 现的。 2)对象类、类层次和继承性 3)语义关联的描述 ①聚集关联(Aggregation association，简称A关联) ②概括关联(Generalization association，简称G关联) ③相互作用关联(Interaction association，简称I关联) ④示例关联(Instance association) 4)运算体系 图6.6 建模实例 在数据库系统中运算基本上有3种：定义、查询和操纵。对多媒体数据库而言，应对类和对象分别定义这3种运算。 ①定义包括类的创建和对象的创建两部分。 ②查询是使用数据库的基本方法，包括通过类名查询类结构、通过对象或对象标识查询对象或对象的属性值、通过类名查询该类中满足某些约束条件的对象或对象的属性、对对象操作的查 询等。 ③操纵运算包括插入、删除和修改，其中每种都有类和对象两个操纵对象。 5)面向对象多媒体数据模型的特点 聚集层次 关系建模设施 方法管理 多种属性的支持和语义信息的维护 支持特性传播 支持模式的演进 版本管理 并发控制和数据恢复 数据共享 快速存储和灵活交付 (3)其他数据模型 1)超媒体数据模型 2)文献模型 3)专有媒体数据模型 图6.7 图像数据库的5级模式4级映射 6.1.4 多媒体数据库的用户接口 (1)字符数值型接口 1)表示型查询 2)关键字描述 3)自然语言查询 共同性。 抽象性。 模糊性。 (2)示例型接口 1)示例的含义 2)示例的种类 ①文本示例 ②图像示例 ③声音示例 ④视频示例 ⑤结构示例 ⑥混合示例 3)示例接口的结构 (3)用户表现接口 1)多媒体表现 ①字符、文本与图形 ②图像 图6.8 示例图像的查询 图6.9 结构示例的举例 ③视频 ④声音 ⑤混合表现 ⑥概念 2)叙事表现 (a)语义结构示例 (b)地图区域示例 图6.10 图像数据库的示例接口 6.2 基于内容检索 6.2.1 多媒体与媒体语义 6.2.2 基于内容检索的特点及应用 6.2.3 基于内容检索系统的结构和方法 (1)基于内容检索系统的一般结构 图6.11 查询的方法示意图 图6.12 多媒体数据库中基于内容检索 1)插入子系统 2)特征提取子系统 3)数据库 4)查询子系统 (2)媒体的内容语义 1)文本 2)图像 图像媒体的常用检索内容主要包括以下的一些： 颜色：图像颜色的分布、颜色的相互关系，颜色的组成等； 纹理：图像的纹理结构、方向、组合及对称关 系等； 轮廓：图像轮廓的组成、形状、大小等； 对象：图像中子对象的关系、数据、属性、旋转等； 领域内容：某一个领域的图像内容，例如头像中嘴与眼的相对位置等。 3)视频 视频建立在图像的基础上，先有图像的内容才可以得到视频的内容，常用的视频内容检索主要有以下一些： 镜头：镜头是视频的基本单位，包括切换、渐变等的划分； 摄像动作：对各种摄像动作的提取，如摇、推、拉、追踪等； 运动对象：查找视频顺序列中的某一运动对象； 场景：相同的镜头的寻找和组合等。 4)声音 (3)基于内容检索的过程及指标 1)检索过程 ①初始检索说明 ②相似性匹配 ③特征调整 ④重新检索 2)节段化(segment) 3)主要指标 图6.13 基于内容检索的过程 (4)特征匹配：过程及方法 1)模糊值 这意味着做出了一个映射： fA：U→ [0，1] U→fA(u) 2)特征值的分类和计算 3)特征调整 下式为计算调整以后特征