基于深度图多视点裸眼3D立体视频技术研究.docVIP

基于深度图多视点裸眼3D立体视频技术研究 　　摘　要：3D立体视频技术正引起越来越多的关注，但是目前绝大多数3D视频系统需要佩戴特殊眼镜才能够观看立体效果，或者要求观看者必须从某个固定角度进行观看。而多视点裸眼3D立体视频系统则可以避免以上两点限制，得到最好的3D观看体验。目前国际上最前沿的3D立体视频研究集中在基于深度图的多视点3D立体视频技术上面，本文对基于深度图的多视点裸眼3D立体视频系统的几个关键技术环节，包括深度图提取、虚拟视点合成、多视点视频合成等进行了研究并进行了相应的仿真实验，从实验效果来看，基于深度图的多视点裸眼3D立体视频系统具有数据量小、传输效率高、显示内容可自适应调节，用户交互性好等优点。 　　关键词：裸眼3D立体视频；深度图；3DTV 　　目前3D立体视频技术正引起越来越多人的关注，其中主流的3D技术主要包括双目立体视频（包含2个视点的视频数据）和多视点立体视频（包含8个以上视点的视频数据）。双目立体视频又可分为配戴眼镜观看和双目裸眼立体显示两种，其中前者必须佩带偏振眼镜，为观看带来了不便，后者则要求观看者必须从固定的角度进行观看，当有多人同时观看同一块显示器时，因为多数观看者无法获得最佳观看位置从而大大影响观看体验。而对于多视点立体视频技术而言，由于同一块裸眼3D立体显示器上可同时提供多个视点的内容，所以观看者可以从任意自由的角度来观看，极大地提升了观看的便利性。所以多视点立体视频已经成为当前技术研究的主流。但是，多视点立体视频相对于双目立体视频而言数据量成倍增长，为存储和传输带来了不便，而基于深度图的多视点立体视频技术具有数据量小的优点，因而成为最有潜力的多视点立体视频方案。本文深入研究了基于深度图的多视点3D立体视频技术中的若干关键技术环节，并进行了相应的仿真实验。本文的章节内容安排如下：第2节介绍基于深度图的多视点3D立体系统整体架构，第3节介绍深度图提取，第4节介绍虚拟视点生成，第5节介绍多视点视频合成，第6节总结全文。 　　一、基于深度图的多视点3D立体视频系统框架 　　基于深度图的多视点3D立体???频系统的技术框架如图1所示。首先需要进行原始视频序列的拍摄，虽然最终多视点裸眼立体显示系统需要9个甚至更多的视点的视频内容，但是实际的原始视频序列拍摄阶段只需要拍摄2-3个视点的视频即可，这是因为基于深度图的虚拟视点生成技术可以在解码端通过2-3个视点的视频生成多个视点（在本文中为9个视点）的虚拟视点视频，所以基于深度图的多视点立体视频技术具有数据量小，易传输的优点，克服了多视点视频数据量大的缺陷。 　　在原始视频序列拍摄完成后需要进行深度图的提取和相机参数的计算，该步骤中提取的深度图的质量直接决定了后期生成虚拟视点视频的质量。完成以上步骤后则需进行压缩编码并通过网络传输到解码端，解码端对数据进行解码后会进行基于深度图的虚拟视点生成，将原始的2-3个视点的视频数据变成9个视点的视频数据，获得的9个视点的视频数据还不能直接在多视点裸眼3D立体显示器上面播放，必须针对该显示器所使用的3D光栅结构进行多视点视频合成。 　　本文的后续章节将会对深度图提取、虚拟视点生成、多视点视频合成三个环节进行详细介绍并进行相应的仿真实验。 　　二、深度图提取 　　2.1　深度图介绍 　　深度图是一副灰度图像（如图2-b），灰度值的范围为0-255。灰度值可结合场景的景深信息进行换算得到深度值，立体视频系统的实际应用中使用的是深度值。 　　深度图上的像素是0-255的灰度值，前文提到过深度图主要用于虚拟视点生成，在该过程中，我们用到的是实际的深度值，所以需要建立一个转换关系，将深度图中的像素灰度值换算为实际的深度值： 　　公式（1）中ｚ就是我们在虚拟视点生成过程所需要的深度值，ｖ表示图2-b中的深度图像中像素的灰度值，Ｚｎｅａｒ和Ｚｆａｒ分别表示该视频所拍摄的场景中的最近深度和最远深度，这两个值需要在原始视频序列的拍摄过程中进行测定。 　　2.2　基于块匹配的深度图提取 　　用并排平行排列的两台相机拍摄同一场景，获得两幅图像，要获得其中一幅图像的深度图，需要用另一幅图像来与之进行像素配对，经过像素点的配对匹配之后就会获得该幅图像每个像素点在两幅图像中间的视差，而深度值与视差值之间的关系如下： 　　其中ｚ为我们要求的深度值，d为经过像素匹配后得到的视差值，f为相机的焦距，b为两台相机之间的基线距离。所以有了视差值d之后就可以很容易的获得深度值ｚ。但是最关键的环节是获得准确的视差值，所以需要进行精确的像素点匹配，但是实际上由于不同相机之间曝光参数的差异，即使拍摄的是同一场景，像素点之间依然存在亮度差异，所以我们采用了图像块匹配的办法，在一定程度上提高了像素点匹配的鲁棒性，在本文的试验中所