基于全景图的虚拟现的实系统研究.docVIP

基于全景图的虚拟现实系统研究 摘要 全景图(Panoramic Image)是近来出现在Internet上的另一种新的交互式的虚拟场景表示方式,它基于图像绘制IBR（Image-Based Render）的方式再现了三维场景,可用浏览器实现虚拟场景的漫游,同时也详细介绍了这种全景图浏览器的实现原理。本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型，并改进算法实现了高效的拼接。关键词 全景图; 基于图像绘制IBR; 虚拟现实; 图像拼接1概述全景图是基于图形绘制IBR（Image-Based Render）的关键技术。现有的IBR技术大概可以分为四类：基于全景图（Panoramic Image）的方法，基于图像深度信息的方法，基于光场（Light Field）信息和基于 Morphing的方法。现阶段，相对成熟的技术是第一种基于全景图的方法 ,而且它实现方便处理量易于在Internet实现。目前，业界对全景图的基本制作方法是：在固定的视点用照相机或者摄像机按照一定的方式（通常是按照均匀角度绕轴旋转360 度）采集图像，采集之后的图像输入计算机进行图像拼接、整合等处理，生成无缝全景图像，最后再用计算机经过投影展示出来，并且提供局部的有限的漫游功能。虽然全景视图有其自身的局限性，比如视点单一，只能在场景内部实现漫游等，但是由于该技术具有极强的可操作性，而且技术也相对成熟，已经成为应用最为普遍的IBR技术之一。目前全景视图主要应用在：虚拟环境、游戏设计、电影特技效果、虚拟博物馆等等。在商用领域比较著名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系统。2 全景图的制作流程全景图制作流程包括全景模型选择，图像采集，图像拼接，图像缝合以及全景图展示浏览五个步骤 ，如图1。（1）全景模型选择：根据全景图投影展示方式的不同，主要可以分为3种模式：立方体模式、圆柱模式、球面模式。这三种模式就是分别把已经拼接好的全景图投影到立方体/ 圆柱体/球体的内表面。此外还有其他展示模式，如采用正多面体去逼近球面的方法。（2）图像采集：一般有两种方法，用全景拍摄器材进行拍摄或者通过普通相机拍摄再进行图像拼接。前一种方式比较容易采集图像，但是这种方法往往意味着购买昂贵的摄影器材，因此影响了其通用性。而后一种方式，用普通相机在固定点拍摄图片然后拼接生成全景图的研究就显得比较活跃了，而全景图生成的核心技术——图像拼接算法正是研究的重点。（3）图像拼接与缝合：现有的全景图像拼接生成算法主要可以分为三类：基于特征的方法、基于流的方法和基于相位相关的方法。在得到拼接好的图像后，还需要对图像重叠部分进行处理，以实现图像的无缝拼接。目前经常采用的一种简单的图像缝合技术就是线性插值法（Linear Interpolation）。（4）全景图展示：得到360度的全景图像后，还要把该图像投影到所选择模型的内表面展示，并提供简单的浏览功能。（5）运动物体生成和全景图生成一样，同样可以用以上3种方法生成。在用照相机拍摄物体时，如果对物体的水平方向和垂直方向各拍摄一圈，就可以对物体进行二维的交互控制。链接是指：把得到的全景图按一定方式组织起来，供交互式显示用；把运动物体嵌入到全景图中去，成为“热点”，使用户可以对它进行交互式控制。 图１　全景图制作流程3 全景图像拼接技术的研究3.1全景图生成的经典算法自全景图的概念提出到目前，有很多学者都对全景图的生成算法做过深入的研究，其中McMillan和Szeliski等人的工作尤其突出。McMillan和Bishop提出了全景函数模型，该算法根据摄像机绕轴旋转360度所拍摄的图像序列求解每个相机的参数，由此进行全景图拼接，但是该算法不太适合于照相机，因为它要求两幅图像之间要有超过2/3 的重叠，这样对一个场景如用照相机去采集图像就需要拍摄大量的图片，而这显然增大了图像采集的难度，也增加了计算量和误差量。而且McMillan试图通过柱面极几何约束实现匹配点自动匹配，但是极几何约束核心基础矩阵对误差过分敏感，也因此导致匹配结果无法实用。Szeliski和Shum[3]在他们的一系列的文章中提出了用8参数的二维（2D）投影模型求解投影矩阵M。该模型的数学表达如下所示： (1) （2）3.2全景图像拼接算法归类及其比较 现有的全景图像拼接生成算法主要可以分为三类：基于相位的方法、基于流的方法和基于特征的方法。 （1）基于相位的方法：该方法利用傅立叶变换、小波变换等等先对图像进行变换，再利用变换后的图像的某些特征进行匹配。但是如果存在空间上的局部变化，就会导致该方法产生较大误差。 （2）基于流的方法：也叫做基于面积的方法。该方法是通过比较两幅图像亮度（或颜色）