图像拼接的简单总结.doc

图像拼接的简单总结 2009年5月25日 图像拼接通常可以分成两个大的步骤:配准(registration )和融合(blending ) 。配准的目的是根据摄像机成像模型以及几何运动模型，通过对应图像重叠部分的匹配关系，将待拼接图像统一到同一个坐标系中，并求出坐标变换参数。融合则是将配准后的图像无缝地合成为一张大的拼接图像。 配准也可以分成两个步骤:局部配准和全局配准。局部配准是求解相邻两幅图像间的运动关系，通常是求解二维平面运动关系的对应矩阵。全局配准是处理多幅图像拼接到一起的误差累积以实现多幅图像的精确拼接。 在匹配过程中，由于相机模型不理想，采集到的图像会有畸变。而且，在自然场景中，图像会旋转，缩放，以及改变亮度，因此，匹配算法必须具备尺度，旋转以及亮度不变性。同时，由于误匹配会对拼接结果造成很严重的后果，因此，误匹配点的排除非常有必要。考虑到大分辨率图像像素个数庞大，选择一个好的匹配策略对提高拼接的速度非常有帮助。 配准的方法主要有直接方法（基于像素的方法）和基于特征的方法。直接方法要求给定一个初始值，然后利用这个初始值不断进行迭代匹配计算。基于特征的方法则先找到图像中特征匹配对，再利用这些特征匹配对进行配准。 最简单的直接的方法是通过对整个图像空间进行搜索，尝试所有可能的配准，这样做效率很低。可以用相位校正技术（Phase-correlation）来提高速度。基于图论的模型以及交叉相关模型也用于直接的图像配准。直接的方法速度比较快，只能处理比较简单的图像。 基于特征的配准方法则研究得更广泛。有些算法通过使用底层的图像特征，比如边界、角点、多尺度的形状等来配准轮廓保持的比较好的图像。而目前，基于显著性特征的图像配准则使用的更广泛。 基于显著性特征的图像配准（[14]，[27]）需要以下几个步骤： 特征提取（[6]，[7]，[8]）：早期有Harris角点，并由此派生出Harris-Affine特征，具有仿射不变性，Harris-Laplacian特征。一些算法将特征检测推广到多尺度DoG空间，如尺度不变检测算法（SIFT）算法。 特征描述（[13]）：比较简单的特征匹配方法是直接比较特征点周围像素的相似性，但是这种方法不稳定。比较好的方法是在特征点邻域内提取特征描述符，对特征描述符进行比较，由此可以去除冗余信息。可以在特征点邻域进行方向直方图统计的方法抽取特征的方向作为特征的描述，还可以对特征领域进行小波分析用小波系数描述特征，Lowe（[1]，[4]，[5]）则通过128维SIFT描述符进行特征描述。 特征索引和匹配（[2]，[3]，[9]，[10]）：利用特征描述符，特征匹配则变成查找最近的特征描述符的索引过程。对于简单的低维特征描述符，可以利用马氏距离来计算出最近的描述符。而对于高维描述符，则可以用k-d树搜索多个最近邻描述符来查找每个特征的多个可能的匹配特征。还可以通过建立哈希表的方式来提高匹配速度。匹配点的选择还需要用到最近邻原则或者K近邻原则。 求解运动关系：考虑到一些误匹配点的影响，直接求解对应矩阵可能会有较大的误差，可用RANSAC（[11]）或者LMedS方法精确求解运动关系。 全局配准：全局配准首先要消除多幅图像叠加一起的误差累计问题，通常采用光束法平差[17]），这个软件有Quicklime播放器的支持。其它的全景拼接产品有Coo1360（[18]）， Panorama Factory Photovista（[19]）等。上述都是国外开发的，国内也有一些做全景开发的公司，比如杰图公司[25]，四方环视公司等。还有很多结合多媒体技术进行数字旅游展示的网站，比如泰姬陵多媒体漫游（[22]），故宫漫游（[24]）等。这些网站图文并貌，非常生动。 图像拼接技术还可以用于三维虚拟社区的建设。2008年，IBM，微软以及Google都推出了自己的三维虚拟软件。IBM故宫开通虚拟3D紫禁城（[26]），占地100万平方米的紫禁城及中国传统宫廷文化在虚拟世界中得到真实再现。微软也推出了免费三维场景创建软件 － Photosynth（[20]），这项服务能将一个场面或是场所──比如一个画廊或是一座建筑物──的多张数码照片转换成三维场景，并上载到Web上，让你在Web上能有置身其中之感。Google Earth则增加360cities全景图层（[21]），上面显示了几千张360提供的全景图片，从这个图层中，人们可以以360度的角度观看到世界各地的全景照片。 将来的拼接技术将可能集成在照相机或者摄像机中，使得用户能轻而易举的创作自己的全景图或者虚拟三维图，还可以用于实现动态视频的拼接，使得得到的拼接画面能动态的展示出来。 主要参考文献 [1]. Davide G. Lowe(2004), Distinc