视觉词汇介绍.ppt

BoVW(bag of visual words )模型介绍 BoVW模型介绍 主要内容 一、提出背景 二、框架 三、关键步骤 四、应用领域 五、存在问题及改进分析 BoVW模型介绍 一、提出背景 词袋模型最先是由Josef等基于自然语言处理模型而提出的。 类比一篇文章由很多文字 (textual words) 组合而成，如果將一張图片表示成由许多 视觉单词（visual words） 组合而成，就能将过去在文本检索（text retrieval）领域的技巧直接利用在图像检索（image retrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scale)图像检索系统的效率。 BoVW模型介绍 一、提出背景 与文本文档进行类比 BoVW模型介绍 二、框架 视觉词典 生成sift描述子 生成视觉单词 视觉单词直方图 BoVW模型介绍 二、BoVW模型框架 视觉词典生成流程 图像视觉单词直方图生成过程 BoVW模型介绍 BoVW模型介绍 三 关键步骤 (i) 自动检测特征兴趣的区域/点； (ii) 计算该特征区域/点的描述子； (iii) 利用视觉词典(visual vocabulary)将特征描述子映射为视觉单词； (iv) 统计每个visual word在图像中的出现频率，生成视觉单词直方图。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.1 Harris-Laplace 检测子 旋转和尺度不变量,检测角点结构特征。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.2 DoG 检测子 检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-like structures)。另外，DoG 点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.3 Hessian-Laplace 检测子 与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也高于Harris-Laplace 。 BoVW模型介绍 三 关键步骤 3.1 关键区域/点检测 3.1.4 显著区域（Salient regions）检测子 3.1.5 Maximally stable extremal regions (MSERs) BoVW模型介绍 三 关键步骤 3.2 局部描述子——SIFT 1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。 BoVW模型介绍 三 关键步骤 3.2 局部描述子—— sift 3.2.1 sift的特点 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 BoVW模型介绍 三 关键步骤 3.2 局部描述子—— sift 3.2.1 sift的特点(cont.) 经过优化的SIFT算法可满足一定的速度需求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。 BoVW模型介绍 三 关键步骤 3.2.2 SIFT算法可以解决的问题 目标的旋转、缩放、平移（RST） 图像仿射/投影变换（视点viewpoint） 光照影响（illumination） 目标遮挡（occlusion） 杂物场景（clutter） 噪声 BoVW模型介绍 三 关键步骤 3.2.3 sift算法主要步骤 a) 尺度空间的生成 BoVW模型介绍 三 关键步骤 3.2.3 sift算法主要步骤 b) 检测尺度空间极值点 BoVW模型介绍 三 关键步骤 3.2.3 sift算法主要步骤 C) 精确定位极值点 D) 为每个关键点指定方向参数 梯度直方图 BoVW模型介绍 三 关键步骤 3.2.3 sift算法主要步骤 e) 关键点描述子的生成 BoVW模型介绍 Sift检测效果图 BoVW模型介绍 三 关键步骤 3.3 视觉单词的产生 3.3.1 聚类方法 最常用、最简单的方法是K_means，其他还有x_means,层次聚类等方法。 3.3.2 权重机制 TF、TF-IDF（term frequency and term frequency-inverse document Frequency）、bin