基于特征匹配的全景图像拼接教程分析.pptVIP

基于特征匹配的全景图像拼接 研究内容与论文结构 研究意义 1 图像拼接理论及算法研究 2 全景图生成实现及实验结果分析 3 未来工作展望 图1.1 日常拍照 图1.2 航拍 图像拼接技术可以将普通相机拍摄的若干幅具有一 定重叠区域的小视域图片进行拼接，得到高清晰度的宽 视角图片，并且看不出拼接痕迹。 一、研究意义 研究意义 从上述在各个领域图像拼接技术所起的重要作用，我们可 以看出它的发展前景是很可观的，因此，对它的研究有着很重 要的现实意义。 图1.3 指纹识别 图1.4 医学图像分析 图1.5 军事监控 二、图像拼接理论及算法研究 图像拼接基本原理 1 基于SURF特征的图像配准 2 图像融合原理及实现 3 2.1 图像拼接基本原理 如下图所示，图像拼接的一般流程主要包括以下几个步骤：图像配准、 投影变换及图像融合。 图像拼接的一般流程 图像拼接原理图 2.2 基于SURF特征的图像配准原理 SUEF特征提取算法流程如下图所示，特征提取由以 下几部分组成： SURF特征提取原理图 1、SURF特征提取原理 SURF特征提取效果图 2.2 基于SURF特征的图像配准原理 利用最近邻搜索法进行特征粗匹配 SURF特征粗匹配效果图 2.2 基于SURF特征的图像配准原理 3、匹配对提纯及变换参数估计 本文通过RANSAC算法来找出大多数匹配对都满足的一个变换矩阵 作为最佳变换矩阵。 图像之间的匹配关系由以下关系式来判断： 式中， 表示最优变换模型对应的内点数， 表示总的匹配对数。 输入图 特征点数 粗匹配对数 提纯之后匹配对数 图1 14946 681 531 图2 11527 SURF特征匹配提纯效果图 2.3 图像融合原理及实现 图像融合：将配准后的图像对应像素按照某种方式结合起 来。 本文采用了基于拉普拉斯金字塔的多分辨率融合方法。 融合目的：消除拼接痕迹。 拉普拉斯金字塔原理 图像分解 图像重建 图像融合实现过程 区域图像 图像融合阶段效果图 三、全景图生成及实验结果分析 全景图生成流程 1 全景图合成实验结果 2 3.1全景图生成流程 本文实现图像拼接的具体流程如下所示： 全景图生成流程图 3.2 全景图合成实验及结果分析 实验一：武汉大学文理学部中心广场柱面全景图。 1 2 3 4 5 6 7 3.3 全景图合成实验及结果分析 实验二：武汉大学老图书馆柱面全景图。 1 2 3 4 5 6 7 谢谢！ 图像获取的方式有多种，目前常用的主要由以下两种方法：利用高级硬件实现的系统和普通相机。 普通相机拍照方式：手持拍摄和固定相机拍摄。 图像预处理：灰度化和图像缩放。考虑到彩色图像需处理三个通道，且图像彩色信息并不能明显提高图像配准的效果。 * 上面得到的匹配对很可能会存在错误匹配对，因此需要对其进行提纯，剔除这些匹配对。本文相邻图像之间的变换模型采用透视模型，采用的方法 是RANSAC法来寻找一个大部分匹配对都适应的透视变换模型，也就是计算变换矩阵的参数。 * 左图中提取出的特征点数为1698个，右图中提取出的特征点数为1281个，图中用箭头标记了提取出的每一个特征点，箭头的起点表示特征点的位置，箭头方向表示特征点的方向。特征点提取完成这之后就开始特征匹配，进行粗略匹配对数为110，效果如图c所示，图中用直线来将两幅图中的匹配对连接起来，很明显，在图中有一些连线走向与其他大部分直线的走向有所不同，这些就是匹配过程中出现的错误匹配对，这些匹配对的存在会对最后的拼接效果有一定的影响，甚至会导致拼接结果错误，于是需要剔除这些匹配对，经过RANSAC提纯处理之后的匹配效果如图d所示，提纯之后的剩余的匹配对为86对，很明显，大部分的直线走向是一致的，匹配比较准确。 * 在进行图像拼接时，如果只是根据变换参数直接相邻图像直接叠加起来，我们会发现在合成的图中存在明显的拼接痕迹，甚至整个图像都会变得模糊。这是因为相邻图片之间可能会存在曝光差异，局部运动，边缘变形等现象，这样不管前面图像配准的效果有多好，最终的拼接效果也不会是很理想。 本文采用结合最优缝合线和基于多分辨率的图像融合技术来实 现图像的融合了，具体步骤如下： 1、按照前面的方法搜索出最优缝合线； 2、以每幅图像投影之后的尺寸大小个生成一幅区域R1和R2，以缝合线为界，一边为白色，一边为黑色。 3、分别对两幅图像进行拉普拉斯金字塔分解L1和L2，对区域图像R1和R2求解高斯金字塔GR1和GR2。 4、分别对拉普拉斯金字塔每一层进行融合处理。 5、图像重构。 * * 实验一实验结果分析： 从图中，我们可以看出，1-6图中所有图片皆来自于同