基于多域分析和全局优化的鲁棒全景图拼接.pdfVIP

基于多域分析和全局优化的鲁棒全景图拼接 基于多域分析和全局优化的鲁棒全景图拼接 葛诚，贾云得，刘鹏，彭启民 (北京理工大学计算机科学-与-r_程系。北京100081) 摘要：全景图是深空探测中一种不可缺少的信息源，它能提供十分丰富的场景信息．本文提出 了一套鲁棒的全景图构建方法，该方法综合使用频率域和空间域各自的分析特性从全局优化的角 是指由摄像机在一个或多个视点拍摄的局部场景图像序列构建的全景图；另一种称为柱面全景图 Panorama)，是指由摄像机绕光心在平面上旋转一周拍摄的图像序列构建的全景图． (Cylindrical 本文首先综合频率域中的相位相关方法和空间域中的特征点匹配方法对具有重叠区域的图像进 行两两对齐，然后分别针对构建两种不同的全景图使用不同的运动估计模型提出两种不同的全局 优化拼接算法．最后消除接缝将图像序列融合成全景图．实验表明这套拼接方法在多视点，光照 强度变化较大，重叠区域较少，摄像机没有标定的情况下能够鲁棒地完成全景图的拼接． 关键词：全景图；图像拼接；运动估计；相位相关；特征点匹配；透视投影；全局对齐 1引言 全景图通常是指由实景图像序列构建的大场景空间，它是一种重要的场景表达方式，蕴含了比图像序 列更直观的场景信息。大视角。高解析度全景图的自动构建是计算机视觉，计算机图形学。摄影测量学等 学科的热门研究课题。在传统的卫星图像处理中，常常通过多幅卫星图像拼接成大视角的全景图，恢复信 息的完整性。目前，全景图在虚拟场景构建、视频会议、视频压缩、视频检索、游戏制作等诸多领域有着 广泛的应用。 目前大部分商业全景图构建方案主要依赖硬件。一种方案是完全依靠特殊硬件实现，如使用全景摄像 机直接将场景记录在胶片上ll】或是使用鱼眼镜头获取广角场景信息，然后进行校正。另一种方案通过专用 VRt 21，该系统需要专门的摄像设 设备拍摄一系列图像或一段视频恢复全景图，如Apple公司的QuickTime 备并对摄像机的转角有着严格的限制。由于这些专用设备昂贵并且复杂，近年来，众多研究者对基于图像 转运动模型来估计相邻两帧图像之间的变换关系，但该模型需要摄像机的焦距，他们通过8参数透视变换 矩阵进行最小化估计，再由变换矩阵序列来估计摄像机的焦距。在文献【5】中Shum等综合全局对齐和局部 对齐方法消除累积误差。Kang等14J认为在全景拼接中的误匹配主要是由于对焦距估计的不精确造成的，他 们提出了一种焦距迭代求精的算法，并证明该算法计算出的焦距更加接近于真实值，本文将在构建柱面全 景图时使用这一算法框架估计焦距。 视点拍摄的局部场景图像序列构建的全景图：另一种称为柱面全景图(Cylindrical 机在单一视点绕光心旋转一周拍摄的图像序列构建的全景图。由于前者可能由在多个视点拍摄的图像拼接 而成，因此不能将图像投影到某个统一的表面(柱面、球面等)后，再进行拼接。本文采用单应性矩阵将 各幅图像转换到一个统一的图像平面【5l，然后融合成平面全景图。而后者加上一定的约束就可以先投影到 某个统一的表面，然后只要在这个统一的表面上估计平移运动即可完成拼接。本文约束摄象机绕光心且在 一个平面上转动，因此可以先将图像序列投影到柱面，然后再估计图像间的平移量。 全景图拼接的核心问题是确定重叠区域，即模式匹配问题。目前，在频域分析中通常使用相位相关方 法【9】，该方法在旋转和尺度变化不大时，具有快速鲁棒的特点，但由于频率泄漏等原因匹配结果仅有像素 级以上的精度。在空间域中也存在两类方法解决重叠区域匹配问题。一类是基于光差的方法，这类方法通 化算法就能够得到很好的二维拼接效果。但基于光差的方法对迭代初值敏感，难收敛。计算复杂度高。另 356 中国宇航学会深空探测技术专业委员会第一届学术会议 2005年1月哈尔滨 一类是基于特征的方法，这类方法通常先提取相邻两幅图像的特征：角点、边缘等，然后进行特征匹配， 最后根据匹配信息估计相邻图像间的单