第六讲多媒体检索.ppt

* 图像规格 分辨率(resolution)：图像在横方向和纵方向的像素个数，用“宽*高”表示。如1024*768。 每个像素的表示位数：每个像素是单色或者彩色。8位表示：0~255表示单色的灰度值。24位表示：每8位分别表示红绿蓝3原色。 不压缩情况下，一幅1024*768的24位彩色表示图像占用的存储空间为768*3=2304KB 存储格式、压缩方法：gif/jpg (Joint Photographic Experts Group )/ bmp/tiff等等 * 图像视觉特征 颜色(color) 图像的颜色分布。 纹理(texture) 纹理是指图像局部不规则的而宏观上有规律的特征，人们区分纹理主要使用粗糙性和方向性两个方面 形状(shape) 物体的边界特征或者主要轮廓 * 颜色特征 统计主要颜色的分布 * 纹理特征 某颜色或密度模式的改变 * 纹理的分割 * 形状特征 * 查询形式 样例 根据库中或者库外已有图像或者人工绘制的图像进行检索。比如通过输入一个红色圆形物体来检索相似的图像 绘图 手工绘制草图用于检索 如通过勾画衣服形状对服装设计图进行检索 属性说明方式 指定特征进行检索 如通过限定人的脸形、五官特征从人脸库中进行检索 浏览方式：按类别或者库结构进行浏览 * 基于视觉特征的检索 基于颜色特征进行检索 检索出与用户颜色要求相似的图像。在检索中，颜色空间常常不采用RGB方法，而是采用HSV方法(hue-色调，saturation-饱和度，value-亮度) 基于纹理特征的检索 检索出与用户纹理要求相似的图像 基于形状特征的检索 检索出与用户形状要求相似的图像 主要通过主要边界特征或轮廓特征来实现 * 基于对象和区域特征的检索 基于全局特征 全局特征包括图像总的色调、颜色统计分布、图像的一般属性(如图像中的对象数目、总面积等等)和视觉特征 基于局部特征 局部对象的颜色、纹理或形状，对象在空间的约束逻辑关系(方向、邻接或包含) * 基于综合特征的检索 将不同侧面的特征综合起来进行图像的检索 如将图像的客观属性(如：作者、时间)、主观属性(如：人的胖瘦)或者语义属性(如：日出)结合在一块进行检索 * 文字型图像的检索 文字型图像(textual image) 通过对书面文本进行扫描得到的图像。 通过OCR系统识别图像中的文本，基于文本进行检索 * 视频(Video) 主要通过视频采集卡从播放画面中采集加工而成。可以看成是在普通图像上增加了时间维度。主要的规格包括：分辨率、每秒播放帧数、压缩方法等。 常见的视频格式 .dat、.mov、.rm、wmv、mpg、mpeg等等 每秒播放帧数 电视是30帧，电影为24帧，对人的感觉而言，至少要每秒12帧以上 压缩方法 MPEG (Motion Picture Experts Group )、国内AVS * 视频中的特征层次(1) * 视频中的特征层次(2) 帧(Frame) 每个帧可以看成一幅静态图像 镜头(Shot) 由连续的帧组成的一个基本拍摄操作单元。镜头可以通过关键帧表示，摄像机操作引起的镜头运动特征也是视频检索中重要的特征内容 场景(Scene) 由连续的多个内容相似的镜头组成的一个有意义的单元。场景关键帧可以由镜头关键帧组合而成。关键对象也可以组合。 视频级特征 完整的视频故事或者节目，包含视频的概要、语义和一般属性的描述 * 视频的分析及检索 镜头边界检测(镜头分割) 关键帧提取 镜头聚类及场景识别 视频摘要 视频的浏览 视频的检索 * 视频的浏览 基于基本结构的浏览 按照视频层次结构找到视频单元进行播放或者浏览 基于事件和故事进行浏览 按照事件或者故事的发生进行浏览 * 视频的检索 基于关键帧的检索 类似于图像检索的方法，利用全部和局部的图像特征进行检索 基于运动特征的检索 基于摄像机运动或者像素运动特征的检索 基于视频对象的检索 利用视频对象的特性，从库中检索出包含相关视频对象的所有场景或者镜头 概念马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示数据的协方差距离。欧氏距离是等距离的，马氏距离是与统计方差相关的，更能表示样本与总体的亲疏程度。 * 4 文本检索研究 4 文本检索研究 第六讲 多媒体信息检索研究　　 (Multimedia retrieval) 陆铭 richard.lu@ * 多媒体(Multimedia)定义(1) Multimedia is media that uses multiple form