胡汝坤02课件.pptVIP

胡汝坤 2008.12.02 SIFT特征匹配技术 SIFT优点 SIFT简介 SIFT实现 SIFT简介 2004年总结了现有的基于不变量技术的特征检测方法的基础上提出。 SIFT算子：一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子。 其全称是Scale Invariant Feature Transform，即尺度不变特征变换。 SIFT的优点 SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 SIFT的优点 多量性，即使少数的几个物体也可以产生大量SIFT特征向量 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。 图像多尺度表示 高斯卷积核是实现尺度变换的唯一变换核，也是唯一的线性核： 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： 图像多尺度表示 称为尺度空间因子，其值越小则表征该图像被平滑的越少相应的尺度也就越小。 大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。 SIFT算法简介 SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度。 然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。 SIFT中的特征点 在图像二维平面空间和DOG(Difference -Of-Gaussian)尺度空间中同时检测局部极值以作为特征点。 DOG算子： DOG空间的创建 对各阶(后一阶是前一阶图像大小的1/4)图像迭代进行高斯平滑： SIFT中的特征点 在DOG空间通过计算局部最值获得初始特征点： SIFT中的特征点 对DOG空间中所有可以求得的局部最值合并为候选特征点。 接着，去除低对比度的关键点和不稳定的边缘响应点(因为DOG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。 SIFT中的特征点 对于图像上的点，计算其在每一尺度(由 标示)下DoG算子的响应值，这些值连起来得到特征尺度轨迹曲线。特征尺度曲线的局部。极值点即为该特征的尺度。 精炼特征点 得到候选的特征点后，还需要利用其周围的数据对特征点进行精确的定位。SIFT特征是通过拟和三维二次函数来精确确定特征点的位置和尺度的。 在候选的特征点处用泰勒展开式得到： (1) 精炼特征点 其中： ; D是在候选特征点处的值。 令 可得特征点的精确位置和尺度。 (2) 精炼特征点 将(2)式代入(1)式可得： 可以用来衡量特征点的对比度，即如果 则为不稳定的特征点。 计算特征点的方向 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。 以关键点为中心的邻域窗口内用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。 计算特征点的方向 直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。 下图是采用7个柱时使用梯度直方图为关键点确定主方向的示例。邻域半径：r=10 。 计算特征点的方向 当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。 一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。 生成SIFT特征向量 至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。 特征向量联合了邻域方向性信息，增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 生成SIFT特征向量 例如：以关键点为中心取8×8的窗口.首先将每一个像素的梯度方向旋转为特征点的主方向，然后利用高斯平滑滤波为每一个方向做加权，再在每一个子窗口中计算它的方向直方图. 生成SIFT特征向量 通常对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据。 此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。