第七章 多媒体信息检索.pptVIP

多媒体信息检索 南京中医药大学 文献检索教研室 教学内容 多媒体信息检索基础知识 多媒体信息检索的方式 多媒体信息检索的分类检索 概述 多媒体：把不同的但相互关联的媒体集成在一起而产生的一种存储、传播和表现信息的载体，通常包括文本、音频、图形、图像、动画和视频。 多媒体信息：是各种媒体的组合体，即将音频、视频、图像和计算机技术、通信技术集成到同一数字环境中，以协同表示更丰富和复杂的信息。 多媒体信息检索：是多媒体信息的特征元数据提取、索引建库，相似度匹配运算，识别和返回用户所需信息，通过与用户之间的反馈，不断优化、调整显示结果的过程。 多媒体信息的特点 数据量庞大 数据类型繁多 相关性强，同步性高 动态性强 多媒体信息的分类 按作用于人体感官形式划分 视觉类媒体：点阵图像、矢量图形、动画、视频、符号和文字等 听觉类媒体：波形声音、语音和音乐等 触觉类媒体：环境媒体，如皮肤感觉的温度、湿度 活动媒体 抽象事实媒体 按照国际电信联盟ITU-T 建议划分 感觉媒体 表示媒体 表现媒体 存储媒体 传输媒体 重点讨论的是感觉媒体和表示媒体，即声音、图形、图像、文字、视频和动画等 图形与图像 图形与图像文件通常混称为图片文件。 特性 ①分辨率 ：图片文件都要在计算机的显示器屏幕上显示出来，显示器是用均匀排列的像素来显示画面的，因此文件也是由许多的像素来组成。一张图片其横行的像素个数和竖列的像素个数便决定了该图片的大小。如800×600，1024×768 ②颜色数：通常，图片颜色数的可能的取值有：2色(这时图片只有黑白两色)、16色、256色、16位增强色(共216即65536种颜色)、24仿真彩色(共224颜色)等。自然图片的颜色数越多，图片的视觉效果就越好。 图片文件的格式类型 位图：是由许多个像素点组成的图片，相应的图片文件记录了图形或图像的每一个像素点的位置及代表该像素颜色的数值等信息。根据有无压缩或压缩的方法等，该类型的图片文件又分为许多种格式，如：.bmp图 、.tif图 、.gif图 、.jpg图。 矢量图：是计算机通过数学运算而产生的图形，而不是像位图那样逐点描述的，因此，该图形所占容量很小，而且它的显示效果不受大小或显示器分辨率的影响。 矢量图的文件格式视生成它的软件的不同而不同。矢量图形格式也很多，如Adobe?Illustrator的*.AI、*.EPS和SVG、AutoCAD的*.dwg和dxf、Corel?DRAW的*.cdr、windows标准图元文件*.wmf和增强型图元文件*.emf等等。 声音 波形音频：是从真实的声音录制并数字化后而得到的一种声音文件，这样的一个过程称为声音采样。采样频率越高，录制的声音效果就越好，需要花费的代价是声音文件需要的存储空间加大了。波形音频文件常见的格式有： Wave文件（*.wav） 、MPEG音频文件（.mp1／.mp2／.mp3）、RealAudio文件(ra／.rm／.ram) 、WMA（.wma）格式 。 MIDI是乐器数字接口（Musical Instuments Digital Interface）的英文缩写，是数字音乐／电子合成乐器的统一的国际标准。 MIDI音乐是利用电子合成技术来模拟各种乐器音效的方法生成，它并不对声音进行采样和量化，记录的也不是声音本身，它只是像记录乐谱一样将每个音符记录为一个类似乐谱符号的数字，并且规定了各种音调的混合发音，最后通过合成器将这些数字转化为对应的音效进而组合成为音乐播出。 MIDI文件的数据量要比波形音频文件小得多，可用于满足播放较长时间的音乐需要。 MIDI音乐毕竟是电子合成模拟的，其声音效果远不如真实乐器的效果，而且回放的质量受声卡的影响比较大。 视频 帧 ：数字视频利用人的眼睛的视觉暂留原理，将一系列顺序排列的静态画面连续播放，从而产生动态效果，其中的每一个画面就是该视频文件的一帧。 全运动播放：播放速度在30帧／s以上，播放的效果才不会感到跳跃和闪烁，这样的播放速度即所谓全运动播放。 全屏幕播放：视频的播放满足画面大小为640 x 480以上、颜色在256色以上，即可以在整个显示器屏禁区域播放，而不仅仅是在一个小窗口播放，即为全屏幕播放。 数字视频文件格式 动画文件：指由相互关联的若干帧静止图象所组成的图象序列，这些静止图象连续播放便形成一组动画，通常用来完成简单的动态过程演示；该类型的图片文件又分为许多种格式，如：GIF文件——.GIF。 影像文件：主要指那些包含了实时的音频、视频信息的多媒体文件，其多媒体信息通常来源于视频输入设备，由于同时包含了大量的音频、视频信息。 如AVI文件（.AVI ） 、QuickTime文件（.MOV/.QT ）、MPEG文件 （.MPEG/.MPG/.D