多视点重构算法探究和实现.docxVIP

多视点重构算法探究和实现 摘要：本文基于视点重构单元进行研究，通过深 度图绘制算法（Depth Image Based Rendering 简称 DIBR） 探讨图像合成所需的视差源序列一一虚拟视点，以实现多视 点裸眼立体图像合成的预处理阶段，实验结果表明采用DIBR 算法不仅可以极大地减少参考图像的数量，而且还能产生实 时髙效且具有任意位置的虚拟视点图像，非常符合多视点裸 眼立体显示中视点源序列的需求。 关键词:DIBR算法 关键词: DIBR算法; 虚拟视点; 图像合成 中图分类号：TP391.41 1引言（DIBR算法） 本文基于裸眼多视点立体电视进行研究，采用“二维+ 深度信息”的解决方法，即在我们平常所看到的二维图像基 础上增加一个Z分量的图像（即深度图），从而使用户产生 立体视觉［1］。这种设计理念追本溯源就是最大程度的重复 使用二维世界的内容和概念，其关键在于虚拟视点的合成。 本文围绕参考图像和与其对应的深度信息合成场景中 的虚拟视点图像进行了相关研究。实验结果表明DIBR算法 不仅可以极大地减少参考图像的数量，而且还能产生实时高 效且具有任意位置的虚拟视点图像，非常符合多视点裸眼立 体显示中视点源序列的需求。 2坐标空间 基于DIBR算法实现虚拟视点绘制，需要准确的反映真 实场景与图像平面的变换，因此需要通过坐标系间的相互转 换来实现。这里与之密切相关的坐标系有：世界坐标系，摄 像机坐标系，图像坐标系、像素坐标系。 世界坐标系(X, Y, Z)是客观世界的绝对坐标， 它不但说明了真实世界里物体所在的位置，还指明了观察摄 像机在真实世界所处的位置［2］。它可以设定为任意位置， 但一旦选择，就不能随意改变。 摄像机坐标系，即以摄像机的光心为坐标原点制 定的坐标系统(Xc, Yc, Zc)o这两个坐标系之间关系可以 表述为公式(1)： 图像坐标系：用二维矩阵(x, y)表示，是三维 空间点对成像平面上的投影。 像素坐标系：以像素为单位，用二维矩阵(u, v) 表示，是三维空间点在成像平面所处的具体位置。其中(uO, vO)是图像坐标系坐标原点在像素坐标系上的坐标。 3针孔相机模型 CCD摄像机的光学成像原理一般是由针孔相机模型(或 称作线性成像模)来表示，模型如图(1)所示。假设P点 是三维空间中的任意一点，则P点和相机光心Oc的连线在 成像平面的交点p即为P点在图像平面上所成图像的位置。 假设P点的世界坐标是(X, Y, Z),摄像机的坐标是(Xc, Yc, Zc),图像坐标是(x, y),像素坐标是(u, v)o如果P 点的世界坐标和相机的相关参数是已知的，那么P点的图像 坐标(x, y)可由摄像机坐标(Xc, Yc, Zc)和相机的焦距? 得出，如公式(3)所示： 假设相机参数和一个三维空间点的世界坐标已知，那么 由此可以计算出该点在成像平面上所对应的坐标，从而得出 针孔相机模型中像素坐标与世界坐标的关系［2］,用公式(4) 表示： 下面对公式(4)作具体说明：P是3X4的投影矩阵， 由摄像机的内部参数?/dx, ?/dy, uO, vO及其外部参数R, t共同决定。已知空间任意一点P,如果已知了它的世界坐 标2 (X, Y, Z, 1) T,则可推出P的像素坐标p (u, v)； 同理，若已知空间某点P在图像平面的投影点坐标及其深度 值Z,便可得出P点的世界坐标(X, Y, Z, 1) T：5］o 4 3D渲染方程 DIBR算法是采用已知图像及其每个像素对应的深度值， 通过3D变换(3D Warping)合成虚拟视点的过程。该过程 主要可以分为以下两步：首先由深度信息将已知图像上的所 有像素点重新投影到与之对应的3D空间中的位置；第二， 再将这些三维空间点投影到目标图像的平面上［7］。这种由 二维到三维的重投影及从三维到二维的投影方法简称为三 维图像变换。 三维图像变换是基于深度图将已知图像的像素点投影 到虚拟视点的图像中的，在针孔相机的模型中，三维空间点 的世界坐标和像素坐标二者间的关系如公式（5）的推导［1］： 其中Al, Rl, tl是参考相机的参数，A1为相机的内参 矩阵，Rl, tl为外参矩阵；Z1在摄像机坐标系中是Z轴分 量在三维空间点相应于参考相机的深度值。由公式（5）可 以得出参考视点所在像素平面的点（ul, vl）投影到与之对 应的3D空间点（X, Y, Z）o 其中A2, R2, t2为虚拟相机的相机参数，A2是内参矩 阵，R2, t2是外参矩阵；Z2为三维空间点与虚拟相机对应 的深度值。通过公式（6）, 3D空间点（X, Y, Z）在虚拟视 点图像平面上投影点为（u2, v2）0 假设世界坐标系和参考视点的摄像机坐标系重合，则以 上两式合并得出适用真实的场景的3D图像变换方程，即3D