近景目标的多视影像匹配.docVIP

创新实验项目一 基于SIFT特征算子的影像匹配 一.实验目的 基于区域灰度的匹配可将左影像按规则格网进行特征点提取，因此匹配点分布均匀，可提高相对定向、模型连接和区域网平差的精度。但是对于数字表面模型（DSM）的匹配则不能采取规则格网匹配的方法，因为DSM需要尽可能多的表达物方模型的细节特征。当匹配点数很多时，由于最小二乘匹配计算量大，因此运算时间很长。SIFT算子是计算机视觉领域非常著名的特征算子，它可用于模式识别和影像匹配。结合摄影测量原理，对SIFT特征算子进行核线约束匹配，使其能高效地应用于数字近景摄影测量的DSM匹配。 二.实验条件（设备、数据等） 计算机，一组立体像对 三.实验原理 1）关键点的精确定位是通过拟合三维二次函数以精确确定关键点的位置（达到子像素精度）。 在关键点处用泰勒展开式得到： （1) 式中：为关键点的偏移量，是在关键点处的值。令: 可以得到的极值： 　　　　 （2) 如果在任一方向上大于0.5，就意味着该关键点与另一采样点非常接近，这时就用插值来代替该关键点的位置。关键点加上即为关键点的精确位置。 为了增强匹配的稳定性，需要删除低对比度的点。将式（2)代入式（1)得： （3) 可用来衡量特征点的对比度，如果，则为不稳定的特征点，应删除。经验值为0.03。 同时因为DOG算子会产生较强的边缘响应，所以应去除低对比度的边缘响应点，以增强匹配的稳定性，提高抗噪声能力。 一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求出： 　　 （4) 导数通过相邻采样点的差值计算。的主曲率和的特征值成正比，令为最大特征值，为最小特征值，则 令为最大特征值与最小特征值的比值，则 ， ， 的值在两个特征值相等时最小，并随着的增大而增大。因此，为了检测主曲率是否在某阈值下，只需检测 　　 （5) 的经验值为10。 2）确定关键点的主方向 利用关键点的局部影像特征（梯度）为每一个关键点指定一个主方向（梯度最大的方向）。 （6) 公式（6)中和分别为高斯金字塔影像处梯度的大小和方向，L 所用的尺度为每个关键点所在的尺度。在以关键点为中心的邻域窗口内（16x16像素窗口），利用高斯函数对窗口内各像素的梯度大小进行加权（越靠近关键点的像素，其梯度方向信息贡献越大），用直方图统计窗口内的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，共36个柱。直方图的主峰值（最大峰值）代表了关键点处邻域梯度的主方向，即作为关键点的主方向。 图15为由梯度直方图确定主梯度方向（关键点主方向）的示意图。图15（a）为一幅由折线组成的影像，圆圈代表局部影像的范围，箭头代表该范围（窗口）内梯度的最大方向。图15（b）为图15（a）的梯度直方图。如果另一个峰值大于主峰值的80%时，则这个方向也作为该关键点的主方向，这样可以增强匹配的鲁棒性。 图15 由梯度直方图确定主梯度方向 3）关键点的描述 图16为由关键点邻域梯度信息生成的特征向量。 图16 由关键点邻域梯度信息生成的特征向量 首先将坐标轴旋转到关键点的主方向。只有以主方向为零点方向来描述关键点才能使其具有旋转不变性。 然后以关键点为中心取8×8的窗口，如图16(a)所示。图16(a)中的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度大小，圆圈代表高斯加权的范围。分别在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图16(b)所示。图16(b)中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于每个关键点就可以产生128维的向量,即SIFT特征向量。此时的SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响。继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。 当两幅影像的SIFT特征向量生成后，采用关键点特征向量的欧式距离