多媒体信息检索.pptVIP

多媒体信息检索 102131387 庄子匀 概念 多媒体检索是一种基于内容特征的检索（CBR：content-based retrieval）。 基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。 基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。 体系结构 检索过程 分类 基于文本的检索 人工建立元数据标引，本质类似于纯文本信息检索 普及程度：是现行网络检索系统中的主流方式。 检索方式：信息分类、扩展名、关键词 优势：实现原理相对简单，技术成熟 劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多 维性，人工描述难以穷尽 Google 图片搜索、音乐搜索与视频搜索，Yahoo 音乐搜索与图片搜索，Yahoo Video Search，百度mp3、图片与视频搜索 普通搜索引擎 搜索图片、图像 格式：image:文件名 功能：检索含有指定文件名图像的所有网页。 搜索多媒体信息 格式：media: text 功能：检索文件的名字中含有指定文字的多媒体信息 基于内容的信息检索 Content-Based Retrieval 一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索 原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。 常用多媒体文件特征： ①图像：颜色、纹理及时空关系等 ②视频：对象运动特征、颜色和光线变化等 ③音频：时域、频域、时频、短时帧和音频特征等 普及程度：局限在较小的数据集合上，大多只是实验室研究成果 基于内容的图像检索 分析图像的内容 提取其颜色、形状、纹理，以及对象空间关系等信息 建立图像的特征索引 QBIC Query By Image Content / IBM Almaden研究中心开发的第一个商用基于内容的图像及视频检索系统 提供对静止图像及视频信息基于内容的检索手段 系统结构及所用技术对后来的视频检索有深远的影响 Photobook /vismod/demos/photobook/ 由MIT的媒体实验室开发研制 图像在存储时按人脸、形状或纹理特性自动分类 图像根据类别通过显著语义特征压缩编码 VisualSeek /VisualSEEk 美国哥伦比亚大学开发的图像查询系统 主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征 EXCALIBUR技术公司开发的retrieval ware系统 Virage公司开发的virage检索系统 香港公共图书馆的多媒体信息系统（MMIS） Multimedia Information System .hk/hkclr2/internet/eng/html/welcome.html ? IBM和分包商ICO于1999年底开始承建190万美元的数字图书馆项目 被认为是世界上最大且最复杂的“中文/英文”双语图书馆服务之一 采用的DB2 Text 和Image Extenders既支持文本查找，也支持图片查找 相似颜色 相似形状 相似内容 IMEDIA IMEDIA按照数据库的内容划分为五个功能系统。 Visual Retrieval (generalist databases)、 Visual Retrieval (biodiversity collections)、Visual Retrieval with relevance feedback（satellite images）、partial visual queries (local descriptors)和3D retrieval 基于内容的视频检索 通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的视频片段——镜头，作为检索的基本单元，在此基础上进行代表帧(representative frame)的提取和动态特征的提取，形成描述镜头的特征索引 镜头组织和特征索引，采用视频聚类等方法研究镜头之间的关系，把内容相近的镜头组合起来，逐步缩小检索范围，直至查询到所需的视频数据 视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。 卡内基·梅隆大学的informedia数字视频图书馆系统 CMU Informedia Video Research 结合语音识别、视频分析和文本检索技术，支持2000小时的视频广播的检索 实现全内容的、