立体视觉知识补充.docx

现在我们有一架平衡双目摄像机，和一个棋盘和一个待重构的物体或者要拍摄的画面， 我们的目的就是利用两个摄像机捕捉同一个画面或者物体图像， 然后根据在两幅图像上遍历 同一个世界三维点映射到两个图像平面的响应匹配点， 然后利用匹配点视差和摄像机相关参 数，以及图像二维点的信息就可以得到世界物体的三维坐标。 1、立体标定 cvStereoCalibrate()， 利用两个摄像机同时捕获的不同视场来实现标定， 同时获得本征矩 阵 E,基础矩阵 F,两摄像机坐标系的旋转矩阵 R 和平移矩阵 T 或者摄像机内参数 M 和畸变系 数 distCoeffs。 立体标定和单摄像机标定是有区别的。 立体标定除了可以计算出摄像机的内参数和畸变 系数，还可以计算出本征矩阵 E,基础矩阵 F,两个摄像机的旋转矩阵 R 和平移向量 T. 立体标定函数参数中需要两个着相机的内参数和畸变系数， 它们即可以作为输入， 也可 以作为输出，这里我们让它们作为输出，由立体标定函数计算它们。 因此， 我们就可以手持棋盘， 然后用两个摄像机同时捕捉棋盘的不同视场， 视场，我们两个摄像机都有拍摄的同一棋盘的图像对，对于两个摄像机旋转矩阵 对于每一个 R 和平移 向量 T ，我们通过一个视场就可以求解出来，然而为了计算结果的稳定，则需要多个视场来 优化结果。对于两个摄像机的内参数矩阵和畸变系数，我们至少需要 们可以通过手持棋盘， 旋转和平移棋盘以获得 10 个视场， 从而获得 体标定。 10 个视场。因此，我 10 幅图像对， 来进行立 在这一步， 我们利用极线约束来检查标定的结果。 （有 了本征矩阵我们就可以得到基础 矩阵，有了基础矩阵，我们就可以计算极线 ） 2、立体校正 cvStereoRetify() ，利用相机内参数以及上一步得到 R,T，得到两个摄像机极线水平对准 的旋转矩阵 Rl 和 Rr，投影矩阵 P，重投影矩阵 Q，为实现两幅图像水平对准准备数据。 1 / 28 该函数名为立体校正， 并没有完成真正的立体校正， 数。通过立体校正，我们可以获得两个摄像机的投影矩阵 而是获得了立体校正的所需要的参 P,有了投影矩阵，我们可以利用 相机模型公式 5-19 ，然后在利用立体校正后的图像（特征点水平对齐）来进行三维坐标计 算。然而我们可能并不这样做，因为 OpenCV 已经给出了计算的函数， 输入视差图和重投 影矩阵 Q，得到三维点坐标。 有时候，我们在三维重建的时候，这样做：假设我们想重建一个物体， 我们用两个摄像 机拍摄这个物体， 如果该物体有足够的 surf特征点，我们获取这两幅图像的特征点的坐标 位置， 然后利用立体校正得到投影矩阵， 计算获取物体三维点云。 这样的步骤是错误的 ，或 者做出来可能效果也不好。因为我我们进行立体标定的目的是为了使得两幅图像水平对齐， 也就是两台摄像机的光轴是平行的， 即无穷远处相交。 我们知道对于两幅图像， 水平对齐后， 像对于的特征点或者匹配点在同一图像扫描行上， 这样， 我们才能利用理想情况下的深度公 式： Z=fT/x1-x2 ， f 为焦距， T 表示两个相机光轴之间的距离。我们可以假设，如果我们获 得的两幅图像对应的匹配点，不在同一行，那么 x1-x2，就会发生变化。 因此， 如果我们在做图像预处理时， 一定要始终保持两幅图像的大小是一样的。 不能随 便的剪切。 3、校正映射 分为两个步骤：计算查找表和重投影，此步完成真值的图像的校正。 1、 cvInitUndistortRectifyMap() 函数利用摄像机内参数 M 和畸变系数，以及投影矩阵 P 或者校正后的摄像机内参数 Mrect ，以及旋转矩阵 T ，来计算原始图像到校正后的查找表 。 2、 cvRemap 函数， 利用计算得到的查找表，和拍摄得到原始图像，设置一定的插值方 法，得到校正后的图像。 由于左右图像都需要校正，所以该过程要进行两次。 4、立体匹配 2 / 28 到了这一步，我们就可以根据具