媒资管理08-基于内容的检索技术.pptVIP

MEDIA ASSET MANAGEMENT 第8章 基于内容的检索技术 基于内容的检索概述 1 图像检索 2 视频检索 3 音频检索 4 基于内容的检索技术的发展趋势 5 §8.4.1 音频特征的提取 8.4.1 音频特征的提取 1.音频时域特征的提取 （1）音频短时能量 （2）短时平均过零率 （3）短时自相关 2.音频频域特征的提取 常用到的频域特征有：能量谱特征、平均功率和功率谱特征以及倒谱特征等。 MEDIA ASSET MANAGEMENT §8.4.2 语音检索 1. 利用大词汇语音识别技术进行检索 利用自动语音识别(ASR)技术把语音转换为文本，从而可以采用文本检索方法进行检索。 2. 基于子词单元进行检索 当执行查询时，用户的查询首先被分解为子词单元。 3. 基于识别关键词进行检索 在无约束的语音中自动检测词或短语通常称为关键词的发现(Spotting)。 4. 基于说话人的辨认进行分割 根据说话人的变化分割录音，并建立录音索引。 MEDIA ASSET MANAGEMENT §8.4.3 波形声音检索 以波形声音为对象的检索，这里的音频可以是汽车发动机声、雨声、鸟叫声，也可以是语音和音乐等，这些音频都统一用声学特征来检索。 1.声音训练和分类 2.听觉检索 3.音频分割 MEDIA ASSET MANAGEMENT §8.4.4 音乐检索 以音乐为中心的检索是利用音乐的音符和旋律等音乐特性来检索。如检索乐器、声乐作品等。音乐是我们经常接触的媒体，像MIDI、MP3和各种压缩音乐制品、实时的音乐广播等。 1.结构化音乐的索引和检索 2 .基于样本的音乐的索引和检索 （1）基于特征集的音乐检索。 （2）基于音调的音乐检索。 MEDIA ASSET MANAGEMENT MEDIA ASSET MANAGEMENT 第8章 基于内容的检索技术 基于内容的检索概述 1 图像检索 2 视频检索 3 音频检索 4 基于内容的检索技术的发展趋势 5 §8.5 基于内容的检索的发展趋势 多特征组合检索 高层语义与低层特征的关联 高维检索技术 基于内容的描述标准 多媒体数据库技术 分布式检索系统 MEDIA ASSET MANAGEMENT 媒体资产管理技术 Media Asset Management 第8章：基于内容的检索技术 MEDIA ASSET MANAGEMENT 第8章 基于内容的检索技术 基于内容的检索概述 1 图像检索 2 视频检索 3 音频检索 4 基于内容的检索技术的发展趋势 5 MEDIA ASSET MANAGEMENT §8.1.1 基于内容检索系统的一般结构 媒体库 特征库 特征抽取 检索引擎 管理端 用户端 数据库 数据库生成子系统 数据查询子系统 知识库 §8.1.2 检索系统的性能指标 两个主要的性能指标： 查全率(Recall) 和查准率（Precision）。 RA 表示检索到的相关对象（一般指图像或视音频片段）数目 RB 表示检索到的无关对象数目。 RC 表示漏检的相关对象数目。 MEDIA ASSET MANAGEMENT §8.1.3 基于内容的检索系统实例 早期著名的研究项目当数94年到98年NSF、APRA和NASA资助的数字图书馆项目（Digital Library） Carnegie Mellon University 是比较早致力于此项目的研究者之一，1996年他们开发出Informedia 数字视频库系统。 QBIC系统，是由IBM公司推出的第一个商用的基于内容的图像查询系统，也是“基于内容”的管理系统的典型代表。 Visual Seek与Video Q系统由美国哥伦比亚大学数字视频与多媒体实验室（DVMM）研究实现。 MEDIA ASSET MANAGEMENT MEDIA ASSET MANAGEMENT 第8章 基于内容的检索技术 基于内容的检索概述 1 图像检索 2 视频检索 3 音频检索 4 基于内容的检索技术的发展趋势 5 §8.2 图像检索 基于内容的图像检索有以下几个特征： （1）该特征对用户应有直接的意义。 （2）该特征应具有典型性。 （3）为高效抽取图像，该特征应与一个合适的索引机制相匹配。 （4）该特征的计算量应小于其减少的数据库操作的计算量。 1. 基于颜色特征的检索技术 2. 基于纹理特征的检索技术 3. 基于形状特征的检索技术 MEDIA ASSET MANAGEMENT §8.2.1 基于颜色特征的检索技术 1．颜色空间的定