图像拼接实验报告.docxVIP

图像拼接 实验原理及实验结果 图像拼接就是将一系列针对同一场景的有重叠部分的图片拼接成整幅图像，使拼接后的图像最大程度地与原始场景接近，图像失真尽可能小。基于SIFT算法则能够对图像旋转、尺度缩放、亮度变化保持不变性，对视角变化，仿射变换，噪声也能保持一定程度的稳定性。本次实验运用SIFT匹配算法来提取图像的特征点，采用随机抽样一致性算法求解单应性矩阵并剔除错误的匹配对。最后用加权平均融合法将两帧图像进行拼接。具体过程为：首先选取具有重叠区域的两帧图像分别作为参考图像和待拼接图像，然后使用特征提取算法提取特征点，并计算特征点描述子，根据描述子的相似程度确定互相匹配的特征点对。再根据特征点对计算出待拼接图像相对于参考图像的单应性矩阵，并运用该矩阵对待拼接图像进行变换，最后将两帧图像进行融合，得到拼接后的图像。 1.特征点检测与匹配 特征点检测与匹配中的尺度空间理论的主要思想就是利用高斯核对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，再对这些序列就行尺度空间的特征提取。 二维的高斯核定义为： G 对于二维图像I(x, y)，在不同尺度σ下的尺度空间表示I(x, y,σ)可由图像I(x, y)与高斯核的卷积得到： L 其中，*表示在x 和 y方向上的卷积，L表示尺度空间，(x, y)代表图像I上的点。 为了提高在尺度空间检测稳定特征点的效率，可以利用高斯差值方程同原图像进行卷积来求取尺度空间极值： D = L 其中k为常数，一般取k=2。  为了寻找尺度空间的极值点，DOG尺度空间中中间层的每个像素点都需要跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。图像的高斯滤波保证了特征点不受噪声影响，DOG图像保证了特征点不受亮度差的影响，在高斯差分图像空间提取极值点保证了尺度不变性。 剔除不好特征点时，利用高斯差分算子检测到的特征点中，含有一些低对比度的特征点和不稳定的边缘特征点，需要进行剔除。使用泰勒级数将尺度空间方程Dx, y,σ D 其中X=x, y,σT, ?D?X和 X=- 则有 D 如果DX 为了去除不稳定的边缘特征点，可以获取特征点处的Hessian矩阵，主曲率可以通过一个2×2的Hessian矩阵H求出： H= 设α和β分别为H阵的最大特征值和最小特征值,且α=rβ，则Dx, y,σ Tr Det Tr 若TrH2Det 为了实现特征点的选编不变性，可以利用特征点的主方向来实现。 (x, y)处的梯度值和方向分别为： m θ 在以特征点为中心的邻域内进行采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围0°~360°，其中每45°一个柱，共8个柱。梯度直方图的峰值则代表了该特征点处邻域梯度的主方向。这样对于每一个关键点，就拥有了三个信息：位置，尺度以及方向。接下来就是为每一个关键点建立一个特征描述符。 首先将坐标轴旋转为特征点的方向，以保证旋转不变性，接下来以特征点为中心取16×16的窗口，然后在每个4×4的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值。此图中一共有4×4×8=128个数据，形成一个128维的SIFT特征向量即特征描述符。这种邻域领域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。此时，SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。 提取出图像的特征点之后，就要进行特征点的匹配。本次实验以两个特征点描述子之间的欧氏距离作为特征点匹配的相似度准则。假设特征点p和q的特征描述子分别为Desp和Desq 关键点的匹配可以采用穷举法。以待匹配图像的特征点Ri为基准，在参考图像中搜索与其最邻近的特征点Sif以及次邻近的特征点Sis，若满足d(Ri 通过对阈值的设定，可以将两帧图像中没有匹配点的特征点去掉，只留下匹配的特征点对。 实验采用MATLAB编程，分别对一组交大图书馆的图像以及一组标准库中的图像进行特征点提取与匹配，结果如下图。 2.单应性矩阵计算 设原图像中一点的坐标为（x，y，1）T，进行变换后该点的坐标为（x’，y‘，1） x x 其中H=h11h12 从匹配的特征点对集S中取出 4 对不共线的点对，坐标为{(xi , y x y 可得： x 即： Ah = 0 对矩阵A进行奇异值分解得 A h= 上式h各个元素即为所求。 3.匹配点对过滤（RANSAC） 由于用穷举法得到的匹配的特征点对中会存在错误的匹配，影响两幅图像之间转换矩阵的求解精度，最后影响到全景图的拼接效果。在这里，传统的