多媒体信息检索分析报告.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Eakins根据语义复杂性，将用户查询分成3个层次；第—个层次对应于图中的特征语义，即利用图像的颜色、纹理和形状状等低层特征及其组合来进行检索。从本质上说，这个层次的检索并没有利用图像的语义信息，基于内容图像检索技术目前就主要处在这个层次；第二个层次的检索需要利用导出的特征，即要进行一定的逻辑推理和识别出图像中包含的对象类别。这个层次的浯义对应于图2中的对象语义和对象空间关系语义．要让计算机识别某一类的对象，首先必须让计算机获得对象概念的计算机内部表示，然后找出图像中可能是对象的区域，再来判定对象的类别。对于对象间的空间位置等关系，则是在识别出了对象的基础上来获得、可以通过机器学习和数据挖掘的方法来获得对象概念的内部表示，而对象的分类则涉及到模式识别的有关技术；第三个层次的检索则设计到图像的抽象属性，需要对所描述的对象和场景的含义和目标进行高层推理。这个层次的语义主要涉及图像的场景语义、行为语义和情感语义。为了将图像内容和抽象概念联系起来，复杂推理、主观判断必不可少，这些推理和判断往往建立在图像分割的基础上，然后根据图像整体及共区域的特征，利用将低级特征映射到高层语义的模型和规则，来判断场景，行为和情感等语义信息。而这些模型和规则，必须利用心理学和认知科学方面的—系列成果 这种对用户查询进行层次分类的方法对于描述不同检索技术的能力及局限性很有帮助，三个层次最主要的差别体现在第—层和第二层之间，即是否真正利用了图像的语义。许 多研究将第二和第三层次的检索称为语义图像检索，而将这种差别称作语义鸿沟（semantic gap）。 * * 内容描述标准MPEG7 MPEG-7的基本思想 MPEG-7是正在制定的多媒体内容描述标准，其目标就是制定一组标准的描述子及其描述模式(定义描述子的结构和相互关系)，内容描述与媒体内容结合，使用户能够快速准确地进行检索。 MPEG-7的范围不包括特征提取和检索引擎，目的是留有竞争的余地。 MPEG-7不是基于像素的压缩标准，不是要取代已有标准。 内容描述标准MPEG7 MPEG-7所描述的内容 创作、生产相关信息：标题、导演、关键片段 检索特征描述信息 ：颜色、纹理、形状、音色、旋律 与使用相关的信息 ：版权、广播节目单 与存储相关的信息 ：存储格式、编码方式 时域、空域结构信息：场景剪接、区域分割、运动跟踪 内容描述标准MPEG7 MPEG-7的内容描述机制 描述符 ：用来对检索特征进行描述 描述方案：用来描述描述符、描述方案之间的语义关系 描述定义语言：用来创建新的描述符、描述方案 系统工具：支持描述、同步、传输、编码描述之间的多路复用，以便进行有效的存储、传输、管理和版权保护 * * 随着20世纪90年代多媒体技术及Intemet网络的发展，可获取的图像和其它多媒体数据越来越多，数据库容量不断增大。如何组织、表达、存储、管理、查询和检索这些海量的数据，是对传统数据库技术的一个重大挑战。如果没有对图像及视频数据的自动和有效地描述，大量信息将淹没在信息的海洋之中，无法在需要时被检索出来。因此，如何将数字图像处理、模式识别技术、计算机视觉技术与传统数据库技术结合起来，建立高效的图像检索机制成为目前迫切需要解决的问题。 * 图像检索的发展从基于文本的图像检索，发展到以基于视觉特征的图像检索和基于语义的图像检索为主流的研究阶段。 基于文本的图像检索的不足：人手工注解图像而带来的问题：体力和脑力负担，关键词，注解内容等因注解者而异，不支持个性化检索，不能满足用户特殊的需求等 基于视觉特征的图像检索：用户需求，用户实际的检索方式与系统操作和运行方式的差异导致系统效果较差，有所谓语义鸿沟和用户需求理解两个问题。 基于语义的图像检索：针对解决上述两个问题，是目前的研究热点。 * * * * * * * HKUST 香港科技大学 美国加利福尼亚圣芭芭拉大学UCSB * * * * * * * * * * * * * * * * * * * 内容匹配的主要策略 纹理特征匹配 基本原理： 虽然图像的纹理特征在局部区域内可能没有规则 ,但在整体上却往往呈现出一定的规律性 。 纹理特征主要由纹理的均匀度、对比度和方向的特征量表示。 均匀度反映纹理的尺寸 对比度反映纹理的清晰度 方向反映实体是否有规则的方向性。 内容匹配的主要策略 纹理特征匹配 常用的匹配方法有： 基于传统数学模型的共生矩阵法 K-L变换法 纹理谱分析法 基于视觉模型的多分辨率分析法 小波方法 纹理特征匹配举例1：从1万张图片中检索的结果 纹理特征匹配举