SIFT特征提取及其应用.ppt

 SIFT简介 1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。 所谓关键点，就是在不同尺度空间的图像下检测出的具有方向 信息的局部极值点。 根据归纳，我们可以看出特征点具有的三个特征： 尺度 方向 大小 我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的 物体也总是通过不同尺度的观察而得到不同的变化。 尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进 行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行 尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、 角点检测和不同分辨率上的特征提取等。 尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目 标由近到远时目标在视网膜上的形成过程。 尺度越大图像越模糊。 研究表明，高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间L（x,y,σ) ,定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ) 卷积运算。 3. 高斯模糊 高斯模糊是在图像处理软件中广泛使用的处理效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。 高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。 为了让尺度体现其连续性，在简单 下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave） 图像，一组图像包括几层 （interval）图像。 1.直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像 素点梯度方向，柱的长短代表了梯度幅值。 2.根据Lowe的建议，直方图统计半径采用3*1.5*σ。 3.在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的 建议，模板采用[0.25,0.5,0.25]，并连续加权两次。 关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一般都采用一种叫kd树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。 关键点匹配并不能标志着算法的结束，因为在匹配的过程中存在着大量的错配点。 图像拼接 关键点方向分配 关于方向直方图的几点说明 关键点方向分配 关键点主方向：极值点周围区域梯度直方图的主峰值,也是特征点方向 关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值 80%能量的峰值时，则将这个方向认为是该关键点的辅方向。 这可以增强匹配的鲁棒性，Lowe的论文指出大概有15%关键点具有多方向，但这些点对匹配的稳定性至为关键。 关键点的主方向与辅方向 关键点方向分配 确定计算关键点直方图的高斯函数权重函数参数 ； 生成含有36柱的方向直方图，梯度直方图范围0~360度，其中每10度一个柱。由半径为图像区域生成； 对方向直方图进行两次平滑； 求取关键点方向（可能是多个方向）； 对方向直方图的Taylor展开式进行二次曲线拟合，精确关键点方向； 方向分配实现步骤 图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。 Back 关键点描述 描述的目的 描述的思路 通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。 描述的目的是在关键点计算后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。 关键点描述 下图是一个SIFT描述子事例。其中描述子由2×2×8维向量表征，也即是2×2个8方向的方向直方图组成。左图的种子点由8×8单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在4×4的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所