多镜头反光式全景视频系统的研究.docVIP

多镜头反光式全景视频系统的研究 　　摘 要:“多镜头反光式全景视频系统”旨在讨论一种工程上可行的全景视频系统架构,通过将一组同型镜头在同一水平面上环形对称排列,同时对周围360°内环境进行视频采集,并将采集到的多幅视频图像进行时间同步、色彩融合、统一白平衡、透视变换等处理,从而生成完整的高清晰度全景视频。该系统采用特殊的光路设计,使所有镜头光心重合,从而彻底消除视觉盲区和重影区。讨论一种统一白平衡处理方法,较好地解决了相邻图像帧间存在的色彩差异问题。主要讨论“多镜头反光式全景视频系统”的软/硬件系统架构及其相关算法,该软/硬件系统架构及其相关算法已在一台全景摄像机系统样机上实现,能够接近实时地生成环360°的全景视频,表明了该软/硬件系统架构及其相关算法在工程上具有可行性。?? 　　关键词:全景视频;多镜头;无缝拼接;时间同步;白平衡;色彩融合;透视变换?? 　　中图分类号:TP391.41 　　 　　0 引 言?? 　　 　　全景图片是指将同一相机在空间某一点向周围不同方向拍摄得到的多幅静态图像无缝拼接到一起,从而将拍摄点周围360°范围内的所有景物连贯、无缝地显示在同一幅画面上。全景视频的思想与此相似,只是研究的对象由静态图像变为了动态视频。相比于全景图片,全景视频能够给人带来更为强烈的浸入式体验。目前,世界上关于全景图片的研究已经十分成熟,有许多成熟的算法,而关于全景视频的研究近年来才受到重视。?? 　　 　　1 全景视频的生成方式?? 　　 　　目前一种较为普遍的全景视频生成方式是采用?┮桓霆?具有多个镜头的全景摄像机同时从多个方向拍摄得到多路视频流,并将其无缝拼接为一路全景视频????\[1[CD*2]4]??。当采用这种方式生成全景视频时,摄像机镜头组的部署方式对于生成高质量的全景视频至关重要。目前,常用的部署方式是视场相交式部署方案,但是此种部署方案的最大缺点是存在着视觉的盲区和重影区,因而只适用于对视频质量要求不高的场合。针对这一问题,采用一种新的部署方案????\[5[CD*2]7]??即多镜头反光式部署方案,彻底消除了视觉的盲区和重影区,从而为生成高质量的全景视频做好了准备。?? 　　[BT3]1.1 视场(FOV)相交式部署方案?? 　　视场相交式部署方案是将多个镜头简单地环形对称排列于一个圆周上,每个镜头的视场均与其相邻镜头的视场相交????\[1[CD*2]4]??。由于物理结构上的限制,各个镜头的光心不能重合于一点,而是分布在一个圆周上,从而形成了视觉的盲区和重影区,如图1所示。?オ?[KH-1] 　　图1中,相邻两个镜头的视场相交于一点??C,称为“视场交点”。视场交点之内的A区域是摄像机的视觉“盲区”,两个镜头的视场均无法覆盖到;视场交点之外的B??区域是摄像机的视觉“重影区”,两个镜头的视场均可以覆盖到。为了生成高质量的全景视频,需要消除视觉盲区和重影区。?? 　　对于视觉重影区,可以采用软件方法进行补偿,但这需要知道视频图像中每一点的深度信息,这在一般条件是很难实现。Stavros Tzavidas和Aggelos K Katsaggelos????\[8]??对此有更为深入的研究。对于视觉盲区,采用软件方法无法消除,必须寻求硬件方面的解决方法。?? 　　1.2 多镜头反光式部署方案?? 　　如果使图1中各个镜头的光心重合于一点,如图2所示,则视觉盲区和重影区将被完全消除,但此时各个镜头必然在物理上重叠在一起,这在物理上是无法实现的。?? 　　为解决这一问题,在镜头组每个镜头的光路中,均增加一面45°斜放的平面镜,如图3所示,则光路由水平方向变为竖直方向,镜头由位置??A转移到位置B,??而镜头的视场不变。于是,所有镜头均被转移到平面镜下方的对应位置,而它们在平面镜中的虚像则相互重叠在?┮黄?,??从而实现了“光心”重合的效果,彻底消除了视觉的盲区和重影区。?? 　　 　　2 全景视频的生成算法?? 　　 　　全景视频的生成主要包括五个步骤:多路视频流的时间同步(Time Synchronization)、统一的白平衡处理(White Balance)、色彩融合(Color Blending)、透视变换(Perspective Transformation)以及全景视频的生成(Panoramic Video Generation),如图4所示。?? 　　对于色彩融合与透视变换,其基本思想和处理方法与全景图片的生成较为相似,而时间同步和统一的白平衡处理则源于全景视频的“动态”特性。?? 　　为避免歧义,在此将同一时刻不同镜头采集到的视频帧称为“视频帧组”,将同一镜头在某一时间段内采集到的视频帧称为“视频流”或“视频帧序列”。?? 　　 　　2