第六章多媒体数据库和基于内容检索.pptVIP

多媒体数据库基于内容的检索 媒体的特征 音频 常利用的音频特征包括基音、共振峰等音频底层特征，以及声纹、关键词等高层次的特征； 静态图像 其底层特征包括颜色直方图、纹理、轮廓；高层次特征包括人脸部特征、表情特征、物体（或零件）和景物特征； 视频 视频包含的信息最丰富最复杂，其底层特征包括镜头切换类型、特技效果、摄像机运动、物体运动轨迹、代表帧、全景图等；高层特征包括描述镜头内容的事件等； 图形 由 一定空间关系的几何体构成。几何体的各种形状特征、周长、面积、位置、几何体空间关系的类型等，被选为图形内容属性。 多媒体数据库基于内容的检索 提取媒体对象内容属性的方式 手工方式 虽然音频、视频等多媒体信息内容难以用文字描述，但由于文本处理技术简单成熟，所以关键词属性是一种常采用的方法。手工方式是最常见的提取关键词属性的方法，它还可以提取图像的纹理、边缘特征、视频镜头所含的摄像动作等。手工方式简单但是工作量大，提取尺度因人而异，增加了不确定 性； 自动方式 对内容属性自动提取是一种理想的方式，是人们研究和应用的目标，自动提取过程设计对媒体分析和具体技术，如图像理解、视频序列分析、语音识别技术等； 混合方式 多媒体数据库基于内容的检索 基于内容检索的体系结构 各个模块的主要功能 目标标识 为用户提供一种工具，以全自动或半自动(需要用户干预)的方式标识图像、视频镜头等媒体感兴趣的区域，以及视频序列中的动态目标，以便针对目标进行特征提取并查询； 特征提取 对多媒体数据进行特征提取，提取用户感兴趣的，适合检索要求的特征，两种类型的特征提取: 全局性的，如整幅读写的总体特征。针对某个目标，如图中的人，视频中的运动对象等， 是基于内容检索的一个重要基础，也是难点所在； 特征分类 低层特征（原始特征） 高层特征（逻辑特征），如语义 多媒体数据库基于内容的检索 各个模块的主要功能 特征提取 静态图像特征提取 一般特征：颜色、纹理、形状 特定领域特征：人脸、指纹、手写体； 动态视频特征提取 一般特征：镜头切换类型，摄像机运动，运动轨迹，关键帧 高层特征：描述镜头中内容的事件。 语音信号特征提取 一般特征：基音、共振峰、线性预测倒谱系数 高层特征：声纹特征、关键词特征 多媒体数据库基于内容的检索 各个模块的主要功能 数据库：生成的数据库由媒体库、特征库和知识库组成，媒体库包含多媒体数据，特征库包含用户输入的特征和视频处理自动提取的内容特征，知识库中存放知识表达（人工智能领域、专家系统等经常会用到的概念），知识表达可以更换，以适用于不同的应用领域。 查询接口：友好的人机界面是一个成功检索系统不可缺少的条件，它可以大大提高检索的效率。一般来说，有3种方式，操纵交互输入方法，模板选择输入方式，用户提交特征样本的输入方式，同时应支持多种方式的组合； 检索引擎：检索是利用特征之间的距离函数来进行相似性检索，模仿人类的认知过程，对不同类型的媒体数据有各自不同的相似性侧度算法。检索引擎中包括一个较为有效可靠的相似性测量函数集。 索引/过滤器：检索引擎通过索引/过滤模块达到快速搜索的目的。 多媒体数据库基于内容的检索 基于内容检索的处理过程 多媒体数据库基于内容的检索 基于内容检索的处理过程 提交查询要求：用户查找一个数据对象时，利用系统人机界面提供的输入方式（可视化的输入界面或查询语言）形成一个查询条件。与传统的文本查询不同的是，在将查询条件传递给搜索引擎之前，一般要对所提交的数据进行预处理，在分布式中这一点尤为重要； 相似性匹配：将查询特征与数据库中的特征按照一定的匹配算法进行匹配 返回候选结果：满足一定相似性的一组候选结果按相似度大小排列返回给用户 特征调整：对系统返回的一组初始特征的查询结果，用户可以通过浏览挑选到满意的结果，也可以从候选结果中选择一个示例，进行特征调整，最后形成一个新的查询； 如此逐步缩小查询范围，直到用户对查询结果满意为止。 多媒体数据库基于内容的检索 基于颜色直方图检索 所谓颜色直方图就是记录一幅图中各种颜色像素点数量的比例图。若一幅图像的颜色（灰度）有N级，具有每种颜色的像素数为h1、h2等等，这组像素统计值称为图像的颜色直方图； 指明颜色的构成：如查询“约35%红色、45%蓝色的图像”，实际上限定了红色和蓝色在直方图的比例，系统将查询转换为对颜色直方图的匹配模式。查询中获得的结果图像颜色分布是符合模式的图像，尽管查到的大多数不是所要的图像，但缩小了查询空间 指明一幅图像，从而也得到它的颜色直方图，然后用该颜色直方图与数据库中的图像颜色直方图进行匹配，最后确定所要找的图像集合。 指明图像的一块子图，它可能是图像分割后的一块子区域，或利用对象轮廓法确定的一个对象，利用这个子图确定相应的颜色直方图，再从数据库中确定具有相似图像颜色特征的目标图