三维重建的基本步骤.docxVIP

1三维重建概念

是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

多视图的三维重建，其方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系.然后利用多个二维图像中的信息重建出三维信息。

2三维重建的分类

根据采集设备是否主动发射测量信号，分为两类：基于主动视觉理论和基于被动视觉的三维重建方法。

主动视觉三维重建方法：主要包括结构光法和激光扫描法；

被动视觉三维重建方法：被动视觉只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三维重建。

3常见的三维重建表达方式

深度图（depth）深度图其每个像素值代表的是物体到相机xy平面的距离，单位为mm；

点云（pointcloud）点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等；

体素（voxel）体素是三维空间中的一个有大小的点，一个小方块，相当于是三维空间中的像素；

网格（mesh）

4主要步骤

（一）摄像机标定：利用摄像机所拍摄到的图像来还原空间中的物体

c++标定“张正友标定”流程：

1.拍照一些图片，其内容必须得包含整幅标定板，用来求摄像机的内参和外参矩阵。由于我们标定的摄像头是双目，所以需要保存两份图片（左摄像头和右摄像头）。

2.对每一张标定图片，提取角点信息。使用到的函数为：findChessboardCorners，但要注意一个问题，它提取的内角点，对于上面的标定板，每行9个角点数，每列6个角点数。

3.对粗提取的角点进行精确化使用到函数为：find4QuadCornerSubpix，其中Size(5,5)是角点搜索窗口的尺寸，相对于上面的结果，有些角点值被精确化了。

4.将内角点可视化

使用到的函数为：drawChessboardCorners

5.相机标定

相机内参标定函数：calibrateCamera

在相机标定之后，我们可以得到相机内参数矩阵与畸变系数以及外参矩阵(图片世界坐标系到相机坐标系（光心）)R和T。

（二）双目摄像机矫正

立体矫函数stereoCalibrate:双目摄像机标定，计算了两个摄像头进行立体像对之间的转换关系，根据左右相机的参数矩阵，生成两个相机之间的关系矩阵(右相机对左相机)R和T，以及基础矩阵F本质矩阵E。

计算无畸变和修正转换映射函数initUndistortRectifyMap

重映射函数remap

（三）对于主动视觉三维重建方法（格雷码结构光）

1.投影结构光图案

2.捕获结构光图案

3.对图像进行矫正以及滤波处理

4.二值化图片

5.对二值化图片进行格雷码的解码

6.相关性的匹配

7.左右视图视差的计算

8.进行深度图的计算，解算z值

9.生成点云以及可视化操作