SIFT算法概述.docx

SIFT特征匹配技术讲义1导言：SIFT 特征匹配算法是目前国内外特征点匹配研究领域的热点与难点，其匹配能力较强，可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力。该算法目前外文资料较多，但中文方面的介绍较少。为此我撰写了这篇文档，以帮助国内的研究学者尽快入门，以最快的速度去体验SIFT 算法的魅力！5.1 宽基线特征匹配概述宽基线条件下点特征匹配的首要任务就是提取稳定的特征，并进行描述。这里稳定一词的含义指的是希望该特征能对旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性，而对物体运动、遮挡、噪声等因素也保持较好的可匹配性，从而可以实现差异较大的两幅图像之间特征的匹配。对图像变化保持稳定的特征描述符称为不变量，比如对图像的旋转保持稳定的不变量称为旋转不变量(RotationInvariant)，对尺度缩放保持稳定的不变量则称为尺度不变量(Scale Invariant)。特征描述符(Featrue Descriptors)指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题[51]。宽基线条件下的点特征匹配一般包括下面四个步骤[30]：1.)特征点检测。这些特征点一般是灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信息。2.)特征点描述，即建立特征向量。这是各匹配算法主要的不同所在。特征空间的选择决定了图像的哪些特性参与匹配，哪些特性将被忽略。特征点的特征描述符应是不变量，以确保最低限度的受摄像机的运动或光照变化等因素的影响。选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。3.)进行特征匹配以获得候选匹配点。这一步根据特征向量的相似性来进行匹配，一般采用各种1 本讲义主要改写于本人毕业论文中关于SIFT的讨论章节。推荐参考图书：《VisualC++/Matlab图像处理与识别实用案例精选》距离函数作为特征的相似性度量，如欧氏距离、街区距离、马氏距离等[51]。4.)消除错配。无论采用何种特征描述符和相似性判定度量，错配难以避免。这一步主要做的就是根据几何或光度的约束信息去除候选匹配点中的错配。常用的去外点方法是RANSAC随机抽样一致性算法[41]，常用的几何约束是极线约束关系(EpipolarLine)[24]。5.2 SIFT特征匹配5.2.1 图像多尺度表示尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多尺度特征。Koendetink在文献[52]中证明高斯卷积核是实现尺度变换的唯一变换核，而Lindeberg[53]等人则进一步证明高斯核是唯一的线性核。二维高斯函数定义如下：G(x,y,σ) =σ代表了高斯正态分布的方差。12πσ2e?(x +y )/2σ222(5-1)一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：L(x,y,σ)=G(x,y,σ)?I(x,y)(5-2)式(5-2)中，(x,y)代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L 代表了图像的尺度空间。5.2.2 SIFT特征匹配算法David G.Lowe在2004 年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT算子[53]，其全称是Scale Invariant FeatureTransform，即尺度不变特征变换。SIFT 算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。SIFT 算法提取的SIFT 特征向量具有如下特性：a)SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。b)独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配[23]。c)多量性，即使少数的几个物体也可以产生大量SIFT 特征向量。d)高速性，经优化的SIFT 匹配算法甚至可以达到实时的要求。e)可扩展性，可以很方便的与其他形式的特征向量进行联合。Lowe在图像二维平面空间和DoG(Difference -of-