视觉词袋技术介绍.pptVIP

BoVW模型介绍 iv) Mutual information (MI) 视觉单词小于平均MI值的将从视觉词典中剔除。 与信息增益有关，其计算方法如下： BoVW模型介绍 四、应用领域 （1）视频/图像检索(Content-based image retrieval) （2）图像自动标注( image annotation) （3）物体识别(object recognize) （4）场景分类(scene classify) BoVW模型介绍 五、存在问题及改进分析 （1）空间信息的缺失：BoW模型一个很大的缺点是缺少特征点的空间关系信息，但这却是一个很重要的图片信息。 一些改进方法已经被提出：基于区域划分的方法；分层词袋模型；空间金字塔匹配方法； BoVW模型介绍 五、存在问题及改进分析 （2）语义鸿沟：从低层特征到视觉单词生成过程时使用基于欧几里得距离的kmeans算法导致语义信息的丢失。 改进方法：利用机器学习方法构造具有语义保护的视觉单词词典。 BoVW模型介绍 BoVW模型介绍 主要内容 一、提出背景 二、框架 三、关键步骤 四、应用领域 五、存在问题及改进分析 BoVW模型介绍 一、提出背景 词袋模型最先是由Josef等基于自然语言处理模型而提出的。 类比一篇文章由很多文字 (textual words) 组合而成，如果將一張图片表示成由许多 视觉单词（visual words） 组合而成，就能将过去在文本检索（text retrieval）领域的技巧直接利用在图像检索（image retrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scale)图像检索系统的效率。 BoVW模型介绍 一、提出背景 与文本文档进行类比 BoVW模型介绍 二、框架 视觉词典 生成sift描述子 生成视觉单词 视觉单词直方图 BoVW模型介绍 二、BoVW模型框架 sift 聚类 图像库 局部特征描述子集合 视觉词典 视觉词典生成流程 图像视觉单词直方图生成过程 BoVW模型介绍 BoVW模型介绍 三 关键步骤 (i) 自动检测特征兴趣的区域/点； (ii) 计算该特征区域/点的描述子； (iii) 利用视觉词典(visual vocabulary)将特征描述子映射为视觉单词； (iv) 统计每个visual word在图像中的出现频率，生成视觉单词直方图。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.1 Harris-Laplace 检测子 旋转和尺度不变量,检测角点结构特征。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.2 DoG 检测子 检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-like structures)。另外，DoG 点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.3 Hessian-Laplace 检测子 与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也高于Harris-Laplace 。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.4 显著区域（Salient regions）检测子 3.1.5 Maximally stable extremal regions (MSERs) BoVW模型介绍 三 关键步骤 3.2 局部描述子——SIFT 1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。 BoVW模型介绍 三 关键步骤 3.2 局部描述子—— sift 3.2.1 sift的特点 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 BoVW模型介绍 三 关键步骤 3.2 局部描述子—— sift 3.2.1 sift的特点(cont.) 经过优化的SIFT算法可满足一定的速度需求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。 BoVW模型介绍 三 关键步骤 3.2.2 SIFT算法可以解决的问题 目标的旋转、缩放、平移（RST） 图像仿射/投影变换（视点viewpoint） 光照影响（illumination）