第五章 多媒体信息检索2.ppt

数据库记录，主要包含以下内容： 一般属性：比如文件名，文件格式，大小，日期等； 音频属性：比如声道数，取样率，持续时间等； 特征属性：比如声强，能量，带宽或 MFCCs 系数等。 　　 音频分类和聚类是两个不同的概念：聚类指特征空间的分割，根据音频特征和需要将样本分成个数不定的类；而分类则是判断一个给定样本所在的类别。音频分类一般采用相似性检索的方法，即计算音频特征的距离。 比较常见的聚类方法是采用平均矢量量化方法。 Muscle Fish 公司即应用此种方法，先将带标识的数据加窗处理，对每帧数据提取音高，响度，亮度，带宽属性，而后对属性序列计算其均值，方差和自相关值，加上能量共 13 个特征。　 (1) 基本属性检索： 这与普通的文本检索基本相同，查找诸如文件名，大小，生成时间等一般属性，或者是取样率，声道数等音频属性。 (2) 特征值检索： 这是较高层次的检索，比如查找能量大于某值的音频数据。 (3) 示例检索 (QBE) ： 这是最高层次的检索方法。比如给定一段 雨声 数据，查找与 雨声 相似的音频数据。 1、多媒体信息检索系统在图书馆中的应用前景 2、多媒体信息检索的发展趋势 Content-based Techniques Color histograms dissimilarity “determines the color dissimilarity between a query image and a target image.” Indexes images by global color Integrated spatial and color query “users can graphically construct a query by placing color regions on a query grid” Analyzes “sizes, spatial locations, and relationships of color regions within the images” “WebSEEK is a Content- Based Image and Video Search and Catalog Tool for the Web. Search through more than 650,000 images and videos.” (Advent Project) Developed by The Advent Project at Columbia University Founded 1995 Foster industrial collaboration between researchers and media technology More Specifically… Uses multiple agents to automatically analyze, index, and assign images/videos to subject classes Uses both visual content and text for cataloging and searching Features Searching using image content-based techniques Query modification using content-based relevance feedback Automated collection of visual information Compact presentation of images and videos for displaying query results Image and video subject search and navigation Text-based searching Search results lists manipulations intersection, subtraction and concatenation. /webseek IBM公司开发 Query By Image Content 已经在俄罗斯使用。 帧：运动图像实际上是一系列图像组成的序列，其中的每幅图像称为一帧（frame）。 帧速率：播放运动图像时连续两帧之间的时间间隔通常是恒定的．称为帧速率（frame per second，fps）。 帧序列之所以能够形成运动图像，在于相邻帧图像一般都是关联的，当帧速率快到-定程度时，人的视觉暂留效应会使人产生连续运动的印象，每秒20帧（20fps）差不多是人脑把静态图像序列合成感觉中的平滑动态画面的下限，电影的标准速度