实时视频拼接系统关键技术分析-analysis on key technologies of real-time video splicing system.docxVIP

1绪论1.1研究的背景与意义图像、视频是对客观事物生动、形象的描述，是人类在世界上除面对面外最直观而详细的接受信息的方式。在这个信息高度发达的社会，通信、网络、电子技术日新月异，照相机、数码相机、摄像头等工具早已融入大家的日常生活、学习、工作中。由于单个相机或摄像头拍摄的范围较小，若要获取宽视野的场景图像需要调节焦距才能达到要求，但这是以图片变模糊、分辨率降低为代价。即使如此，在一些特殊情况下某些超大尺寸的场景仍然无法用一张照片拍摄下来，比如在航空、深海、球形环境下的拍摄照片。虽然扫描式全景摄影相机和广角摄像头可以在一定程度上解决视野不够宽的问题，但对于普通家庭而言这些设备价钱昂贵，操作复杂，并且有明显的边缘畸变。在这种情况下，从已有图像中绘制出新的图像的绘制技术（ImageBasedRendering）也随着虚拟现实技术迅速发展[1]。静止图像、视频拼接技术作为虚拟技术的关键环节，对其算法的研究日趋成熟。其实早在计算机诞生之前，图像拼接的应用就已初现。20世纪初期随着航天技术的发展，对航空摄影需求变大。由于飞行高度的限制，大场景的图片仍需要专业人员利用有重叠区的照片手工构造拼接图，这就是最早的图像拼接。20世纪后期的卫星、遥感技术发展迅速，人们对高分辨率宽视野图像的需求变多，于是诞生了视频图像拼接技术。视频图像拼接技术是将一系列有重叠区域的图像相互配准拼接最后生成一幅包含更多信息、视野更宽图像的技术。视频拼接分为根据视频序列的全景拼接和多个视频片段的拼接实时显示两大类。目前，视频图像技术在大面积静态场景重现（宇宙空间、海底探测等）、视频压缩与传输、视频索引与检索、视频跟踪与监控、以及医学、气象的等领域有着重要应用[2]。视频图像拼接的意义和作用主要有：l)合成宽视角图像或全景图像。将一系列图像进行无缝拼接，得到视野更宽阔的图，即使用普通摄像像设备也可以得到宏伟景物的效果图。2)重组碎片图像，获取完整图像信息。将太空、深海、环境复杂场景中拍摄到局部图合成完整图，或将考古、医学上的分散图像片段进行重组，还原真是信息。3)拼接技术结合计算机技术来虚拟现实。图像拼接作为图像绘制的基础技术，生成全方位图像较为简便，人类可以自然地对虚拟世界进行体验和交互作用。1.2视频序列拼接研究现状视频图像是虚拟现实的一种重要的场景表示方式。单部摄像机只能展现一个狭小的场景区域信息，因此人们希望能扩大摄像机的摄像范围如同人眼的视野范围一样。目前市面上已经有很多关于视频拼接的产品，硬件方面比如北京彩讯公司的一款图像拼接器TMC2800，无需安装任何操作系统就可作为大屏幕拼接系统、PDP无缝拼接系统、液晶显示器拼墙系统的核心设备。虽然TMC2800调节拼缝功能强大，可以以像素为单位进行调节，但其目的是使多信号源显示在大屏幕上，并且没有利用视频间的重叠区域；软件方面比如图像和视频帧拼接工具SerifPanoramaPlusX4，通过简单的步骤就可以拓展水平视野。不仅可创建全景风景图甚至可以实现360°的虚拟全景图，但这款软件只支援相机照片或是视频剪辑的单幅图片拼接，并不直接支持视频帧的实时拼接。目前为了扩大视频的视野范围，有两种方式可供选择：(1)采用特殊的大视角摄像设备获取图像。这些设备包括广角镜头、反射镜全向成像和全景环形透镜。但这些设备造价高，空间分辨率低并且伴有相当程度的畸变，如果增加校正功能又将进一步增加成本。(2)采用单部或多部摄像机采集场景，根据图像间的相关性，通过视频图像拼接技术产生比单个图像更宽的视野和更高的分辨率的图像。视频图像拼接具体又分为单视频的图像拼接和多视频拼接。单视频拼接是利用一个视频段内图像进行拼接，多应用于虚拟全景图的拼接显示；多视频拼接是指利用若干个视频序列实时拼接成宽视野乃至360°全景的视频并显示，它与静态拼接中的虚拟全景技术和视频跟踪监控技术不同，但兼具两者的优点。本文是针对双摄像头摄取视频的拼接研究。1995年，Milliams等人针对没有运动物体的视频序列提出了一种算法：摄像机绕轴旋转360°拍摄一系列图像并计算出摄像机参数，最终拼接成全景图[3]。1996年，RichardSzeliski提出了基于运动的全景图像拼接模型：先采用L-M（Levenberg-Marquardt）算法计算出图像间的几何变换关系再进行图像配准[4]，这种方法不仅可以处理带有平移、旋转、仿射关系的待拼接图像而且速度快，因此成为拼接领域的经典算法。Szeliski等人于1997年在摄像机光心不动的基础上，提出了手持摄像机的全景图拼接算法[5]。Irani在1996年提出了针对包含运动物体的视频拼接算法，但这种方法只能处理有微小运动物体的情况。James.Davis于1998年提出利用Mellin变换计算出全局运动参数，采用帧差法检测出运