附录C　基于内容的图象和视频检索 图像工程(第2版)下册图像理解教学课件.ppt

附录C　基于内容的图象和视频检索 C.1 基于视觉特征的图像检索 C.1.1　颜色匹配 C.1.1　颜色匹配 C.1.2　纹理匹配 C.1.2　纹理匹配 C.1.3　形状匹配 C.2　基于运动特征的视频检索 C.2.1　全局运动特征匹配 C.2.1　全局运动特征匹配 C.2.1　全局运动特征匹配 C.2.2　局部运动特征匹配 C.3　基于区域的AdaBoost检索 C.3　基于区域的AdaBoost检索 C.4　视频节目分析和检索 C.4.1　新闻视频结构化 C.4.1　新闻视频结构化 C.4.1　新闻视频结构化 C.4.1　新闻视频结构化 C.4.2　体育比赛视频排序 C.4.2　体育比赛视频排序 C.4.2　体育比赛视频排序 C.4.2　体育比赛视频排序 C.4.2　体育比赛视频排序 C.4.2　体育比赛视频排序 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.4.3　家庭录像视频组织 C.5　语义分类检索 C.5.1 基于视觉关键词的图象分类 C.5.1 基于视觉关键词的图象分类 C.5.1 基于视觉关键词的图象分类 C.5.2 高层语义与气氛 C.5.2 高层语义与气氛 联 系 信 息 2. 基于摄像机运动的时间加权模型 将摄像机运动参数映射到视觉关注度 建模的主要假设为： 镜头缩放的作用是强调，镜头放大用于强调画面局 部细节，镜头缩小用于强调画面整体 摇镜头的情况需要分为目标跟踪（对应有运动关注 区域的情况）和环境转换（对应无运动关注区域的 情况）两种类型 在水平或垂直摇镜头的运动十分频繁变化而且运动 幅度较小时，它将被认为是随机的不稳定抖动 2. 基于摄像机运动的时间加权模型 有运动关注区域存在 没有运动关注区域存在 2. 基于摄像机运动的时间加权模型 权重由于镜头运动的不同而产生差别 环境的权重仅由少量的镜头缩放运动确定 较低的环境权重和较高的运动区域权重 环境权重更低，运动区域权重更高 3. 镜头组织策略 两级的镜头组织策略 (1) 第一级镜头聚类层次检测出场景的变换，即 运动区域和环境特征同时发生较大变化的位置，它 代表情节和地点的转移 (2) 第二级镜头聚类层次在一个场景内部进一步 检测运动区域或环境特征中某一方面发生变化（不 包括同时变化）的情况，它代表了在同一镜头内关 注焦点的变化（不同的运动目标，相同的环境）或 者关注目标的位置转移（相同的运动目标，不同的 环境）块的DCT系数 3. 镜头组织策略 第一级镜头聚类将5个镜头分为3个场景单元 第3和第4画面放在一起作为第二级镜头聚类 运动信息表示视频内容沿时间轴的发展变化 视频序列中的运动信息可分为两类： 全局运动信息和局部运动信息 C.5.1　基于视觉关键词的 图象分类 C.5.2　高层语义与气氛 1. 显著区域检测 利用SIFT获得局部特征 确定大量覆盖图像的不随图像的平移、旋转和放缩而变化的局部区域 2. 特征选择 确定图像类的最有信息和最有判别力的特征 利用互信息来选择有用的分类特征 {P.398} 3. 图象的分类 多类有监督学习 1. 5种气氛语义 利用全局照度（照度分布）和主要色调这两个特征的不同组合可定义5种典型的气氛 *章毓晋 (TH-EE-IE) 第*页 第14讲 章毓晋 清华大学电子工程系 100084 北京 图象工程（下） C.1 基于视觉特征的图像检索 C.2 基于运动特征的视频检索 C.3 基于区域的AdaBoost检索 C.4 视频节目分析和检索 C.5 语义分类检索 基于内容的图象检索 按范例查询，把用作参考的查询图象与图象 库中的大量图象进行匹配 C.1.1　颜色匹配 C.1.2　纹理匹配 C.1.3　形状匹配 颜色特征的统计直方图 1、直方图相交法 2、距离法 3、中心矩法 更高阶的矩（三阶） 4、参考颜色表法 将图象颜色用一组参考色表示 纹理特征提取的一种有效方法，以灰度级空间相关矩阵为基础 灰度共生矩阵M(?x, ?y)(h, k) (1)　反差 (2)　能量 (3)　熵 (4)　相关 结合采用各个参数的均值和标准差 纹理特征向量中的各个分量 高斯归一化 特征向量 将fi,j归一化至[–1, 1]区间 各个fi,j均转变成具有N(0, 1)分布 形状特征可以看作是比颜色或纹理要高层一些的特征 目标的形状常可用目