图像拼接完整课件.ppt

* * 输入的图像序列由于照相机的运动存在着视角和尺度上的噪声。 * * * * * * SIFT算法的实质是在不同的尺度空间上查找关键点(特征点) ，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。 * * 1. 尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。 * * 尺度空间理论 基本思想是：在图像信息处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。 大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。 * * 图像的金字塔模型是指，将原始图像不断降阶采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。原图像为金子塔的第一层，每次降采样所得到的新图像为金字塔的一层(每层一张图像)，每个金字塔共n层。? ? 为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加上了高斯滤波。图像金字塔每层的一张图像使用不同参数做高斯模糊，使得金字塔的每层含有多张高斯模糊图像，将金字塔每层多张图像合称为一组(Octave)，金字塔每层只有一组图像，组数和金字塔层数相等，每组含有多张(也叫层Interval)图像。降采样时，高斯金字塔上一组图像的初始图像(底层图像)是由前一组图像的倒数第三张图像隔点采样得到的。 * * * * * * * * * * 2. 关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。 * * 检测到的极值点是离散空间的极值点， * * 3. 方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。 * * 为了使描述符具有旋转不变性，需要利用图像的局部特征为给每一个关键点分配一个基准方向。 * * 在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。梯度直方图将0~360度的方向范围分为36个柱(bins)，其中每柱10度。如图5.1所示，直方图的峰值方向代表了关键点的主方向，(为简化，图中只画了八个方向的直方图)。梯度的模值和方向 方向直方图的峰值则代表了该特征点处邻域梯度的方向，以直方图中最大值作为该关键点的主方向。为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为该关键点的辅方向。对于同一梯度值的多个峰值的关键点位置，在相同位置和尺度将会有多个关键点被创建但方向不同。仅有15％的关键点被赋予多个方向，但可以明显的提高关键点匹配的稳定性。 * * * * 4. 关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。 * * 这个描述子包括关键点，关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。 SIFT描述子是关键点邻域高斯图像梯度统计结果的一种表示。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。 lowe建议描述子使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8=128维向量表征。 * * * * * * * * * * * * * * Copyright ? 2011 Capgemini Consulting. All rights reserved. 图像拼接 研究背景 图像拼接 图像获取 特征点提取与匹配 图像配准 图像融合 图像获取 照相机固定在三脚架 照相机固定在可移动平台 手持照相机 图像拼接 图像获取 特征点提取与匹配 图像配准 图像融合 特征点提取与匹配 采用SIFT算法完成图像序列特征点提取 David Lowe在1999年所发表，2004年完善 SIFT算法 尺度不变特征转换( Scale-invariant feature transform） 电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。 SIFT算法 应用范围： 机器人地图感知与导航 影像追踪和动作比对 3D模型建立 影像缝合 手势辨识 物体辨识 SIFT算法 在不同的尺度空间上查找关键点，计算关键点的方向 角点 边缘点 暗区的亮点 亮区的暗点 SIFT算法 尺度空间极值检测 关键点定位 关键点方