第6章 多媒体信息.pptVIP

多媒体信息检索 多媒体技术和网络技术、信息数字化处理等高新技术飞速发展，使得因特网上的多媒体数据量激增，网络信息不再是单纯的文本信息、图形图像、声音视频等多媒体信息逐渐在因特网中占有越来越大的比重，或独立出现、或嵌入网页的文档，新的图像和影像每天都在增加和更新。为此，因特网也涌现出一些专门针对多媒体信息的检索系统。 一、图像的检索 1、图像检索的原理： 从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（TBIR），利用文本描述图像特征；到90年代以后，出现了对图像的内容语义，如图像颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（CBIR）技术。CBIR属于内容检索（CBR）的一种，CBR中还包括对动态视频、音频等其他形式多媒体信息的检索技术。可以用来帮助图像分析、标引的Web文档内容包括： 图像的文件名及其网址： 图像的替代文字： 图像周围文字 图像所在页面的标题 图像的超链接 图像所在网页彼此间的链接 近年来，基于内容的图像检索领域的研究有了长足的发展，一大批研究性的或商用的图像检索系统被建立起来。基于内容的图像检索系统与基于文本的检索系统完全不同的构架。 首先，由于图像依赖其视觉特征而非文本描述进行索引，检索将根据图像视觉特征的相似度进行。 另外，基于内容的检索系统一般通过可视化界面和用户进行频繁的交互，以便于用户能够方便地构造查询、评估检索结果和改进检索结果。 基于内容的图像检索系统的体系结构。系统的核心是图像特征数据库。 图像特征 数据库 图像数据源 用户 特征提取 特征索引 查询/反馈 检索 1、选择、提取和索引能够充分表达图像的视觉特征 2、处理基于相似度的图像检索 3、处理用户对检索结果的相关反馈，改善检索结果。 因特网图像信息检索的趋势应该是基于文本与基于内容的技术相结合，用户提交的检索提问，可以是关键字的查询，也可以是一张图像，系统将根据提交的查询，在图像数据库中找到一些最相似的图像返回给用户。 2、基于文本的图像搜索引擎 Google图像搜索引擎 I Alltheweb多媒体搜索 Yahoo画廊： Picsearch： Ditto： 百度图像搜索： 国家艺廊：.uk 加拿大精粹指南：www.chin.gc.ca 3、基于内容的图像搜索引擎 QBIC： 由IBM公司于20世纪90年代开发，它可以依据图像的内容特征进行检索。 Visualseek的webseek：:8008 由哥伦比亚大学研制，其检索机制与其他CBIR系统相似。 IIDR：www.unn.ac.uk/iidr 诺林伯利亚大学的IIDR学院目前正进行一系统有关于基于内容图像检索研究课题. / 基于内容的图像搜索引擎示例 请介绍这条军舰 1.说出名字，国别，级别 2.说出与它有关的2个事件  二、音频文件的检索 1、音频文件检索原理 语音和音乐是最常见的声音媒体，对声音进行数字化处理得到的结果称为音频，音频信息检索是数字化信息检索的迫切需要。 基于文本的音频检索：仅涉及文件名、文件格式和采样率等外部特征。 基于内容的音频检索：从广泛的音频数据中提取特征信息，才能对不同音频数据进行分类和检索。 音频检索第一步是先建立数据库：对音频数据进行特征提取，将音频数据装入数据库的原始音频库，将特征库装入特征库，通过特征库对音频数据聚类，将聚类信息装入聚类参数库部分。音频检索系统数据库记录包括内容如下： 外部属性：比如文件名、格式、大小、日期等 音频属性：比如声道数，取样率、持续时间等 特征属性：比如声强、能量、带宽等 基本属性检索：比如文件名、大小、取样率、声道数等 相似性：属于某一类声音（比如狗叫声） 声音/感知特性检索：用可理解的共同物理特性来描述声音。比如亮度、基频音量等 主观特性检索：用人类的描述语言来说明声音 示例检索（QBE）：让一个声音在某些音质上类似于你要找的声音。 2、基于文本的音频搜索引擎 MP3：www.M Cnet: Kazaa: The music finder: Sogua: 音乐极限： 幻想空间： 3、其他音频资源 音乐指南： Mudcat cafe数字传统民歌数据库： Musica全球合唱曲目数据库： Operabase:/en Speechbot视音频搜索引： P: Radio-locator: 4、基于内容的搜索引擎 上海交大音乐数据库检索系统：6:1997/cgi/nph-bwcgis/basis/music/all/document/sf themefinder： 三、视频文件检索 1、视频文件检索原理： 基于外部特征的视频检索：与音频检索从原理和系统结构上相似，它们都有特定的片名、主演、导演、制片厂、语言、片长、内容简介等外部信息，这些信息