离轴平行立体成像中视差图像失真及观看舒适性研究.docVIP

离轴平行立体成像中视差图像失真及观看舒适性研究 　　摘 要：视差立体成像系统中的图像失真是系统本身结构造成的，不可能完全消除，但可以通过对拍摄和播放参数的控制尽量减小。摄像机的构造不同产生的失真也会有差别，离轴平行摄像机产生的典型失真有深度非线性化、木偶剧效应、纸板效应及剪切失真等。每种失真都是立体成像系统中存在的成像缺陷，通过推导立体成像及显示系统的几何关系，可以找到失真原因；通过对公式分析，可以得到那些参数对失真产生起关键作用。用离轴平行摄像机在室内和室外拍摄并实时观察，通过改变拍摄参数来观察失真结果，可以找到如何在拍摄时通过拍摄参数的调节来控制失真，失真的减少可以大大地提高观看舒适性。 　　关键词：双目视差；离轴平行成像；图像失真；观看舒适性 　　引言 　　立体（3D）的显示相对于平面（2D）的显示增加了深度信息，给观看者带来视觉享受和更加震撼的视觉体验[1]。然而，双目视差立体显示时再现物体场景并不同于真实世界中的物体，由于拍摄时摄像机的摆放结构不同以及摄像方法的原因，立体图像会有各种畸变或者说失真，如深度水平弯曲、深度非线性化、木偶剧效应、剪切失真、梯度失真等[2]，另外一种典型失真现象是纸板效应[3]。失真和拍摄时摄像机的摆放结构有很大的关系，常见的摆放结构有：平行式（如图1-a所示）、汇聚式（如图1-b所示）、离轴平行式（CCD中心和成像中心不重合，如图1-c所示）[4]。 　　图中点画线为汇聚面，平行式结构中没有汇聚面，只有负视差，较明显的失真有：纸板效应、部分区域非立体化、木偶剧效应、深度缺失等。汇聚式结构可获得较大的视差图像公共场景区，同时存在正视差、零视差和负视差，但容易造成梯度失真、深度非线性化、剪切失真等。离轴平行式结构结合了平行式结构和汇聚式结构的优点，公共场景区域大，没有梯度失真，有正视差、零视差和负视差，但是仍然存在失真。接下来将重点讨论离轴平行立体成像中视差图像失真和系统中参数的关系，以及如何将失真控制在最小范围内，提高观看舒适性。 　　1 离轴平行立体成像中的失真分析 　　1.1 离轴平行立体成像系统的坐标分析 　　离轴平行立体成像系统实现立体观看要经过三次独立的坐标变换，首先是由实物的拍摄坐标转换成立体摄像机的CCD成像坐标，接下来把CCD的坐标转换成屏幕坐标，以左右视差图的形式展示在屏幕上；最后视差图经过双眼在大脑融合，融合的对象会根据视差的多少形成感知物体坐标，产生立体感觉。为了更好地理解三次坐标转换，把三次坐标转换的信息画在同一张图中，如图2所示，CCD成像坐标如图3所示。 　　图2、3中各参数说明如下：（xO，yO，zO）为某对象上参考点在世界坐标系的坐标，B为左右镜头间距；f为焦距；C为汇聚距离；E为观察者的眼距，一般平均为65mm；由于拍摄时的汇聚面的图像在放映时视差为零，所以可认为两者统一为一个面，即为图2中的屏幕，在拍摄时参考点在CCD上形成视差坐标为CL（xCL，yC）、CR（xCR，yC），由于平行结构垂直方向不存在视差所以只有yC，xCL和xCR是以CCD屏幕中心作为原点来计算的；h为离轴距离，通过改变h可调节汇聚距离C；（xSL，yS）、（xSR，yS）表示参考点的屏幕坐标；WC为CCD宽度，WS为屏幕宽度，设拍摄时的高宽比和播放时一样，这样图像水平放大率和竖直放大率一样都为Mf，统一称为帧放大率Mf=WS/WC；V（xV，yV，zV）为观察者双目连线中心的世界坐标系的坐标；β为汇聚角，tanβ=h/f=（B/2）/C；拍摄时原点位于左右摄像机光心连线的中点，X0轴平行于光心连线方向，Z0轴平行于相机光轴方向。 　　由图3可知，实物参考点（xO，yO，zO）在CCD上的成像坐标为： 　　1.2 离轴平行立体成像系统的失真分析 　　首先，分析观察者观看到的感知物体深度是否能还原真实物体深度，如果zI=zO那么感知物体和实物的深度是一致的，但从（6）可知，感知物体深度跟播放时的屏幕大小、实物深度zO以及观察者的位置zV有关，所以，zI=zO只是各个参数协调后的偶然事件。假定观察者在某点观察，而且播放屏幕不变，这时zI是zO的函数，对（6）求zO的偏导数，可以得到感知物体各点相对于实际物体各点在深度方向的变化率，定义为深度放大率Md，有： 　　可以看到，感知物体深度zI与实际物体深度zO并不是线性关系，当zO值变化越大时，zI相对于zO的变化量越小，这种情况称为深度非线性化。 　　接着，分析观察者观察到的感知物体大小是否能还原真实物体大小，同理，对（4）求xO的偏导数，对（5）求yO的偏导数，可以得到感知物体各点相对于实际物体各点在尺寸上的变化率，定义为尺寸放大率Ms，有： 　　由（8）可知，不同深度的物体在再现时具有不同的尺寸放大率