张正友标定法计算机视觉学习笔记.docxVIP

张正友标定法 【计算机视觉学习笔记 张正友标定法 【计算机视觉学习笔记 --双目视觉几何框架系列】 2015-02-01 18:45 6037 人阅读 评论 (5) 收藏 举报三、致敬“张正友标定” 此处“张正友标定”又称“张氏标定”，是指张正友教 授于 1998 年提出的单平面棋盘格的摄像机标定方法。张氏 标定法已经作为工具箱或封装好的函数被广泛应用。张氏标 定的原文为“ A Flexible New Technique forCamera Calibration ”。此文中所提到的方法，为相机标定提供了很大 便利，并且具有很高的精度。从此标定可以不需要特殊的标 定物，只需要一张打印出来的棋盘格。 So great! 这样的方法让人肃然起敬。所以玉米的这篇博客的题目是： 致敬“张氏标定”。 当然，此博的内容也是围绕着“张氏标定”进行的， 在这里，玉米主要介绍一下，“张氏标定”的数学思路。因为 标定在整个基于标定摄像机的三维重建的几何过程占有最 重要最核心的地位。如下图： 从图中明显可以看 出，标定得到的内参、外参和畸变系数，是双目视觉进行图 片矫正，摄像机校正和 3D 恢复的基础。没有好的标定，双 目视觉系统就无法完成 3D 重建。 既然标定对双目视觉如此重要，我们有必要对数学 的深层含义多加理解。 以张氏标定为例， 让我们挖开工具箱， 看看其数学本质吧。因为张教授的论文中对标定方法的讲述 是循序渐进的，所以玉米在这里将按照张教授论文中的顺序， 为大家讲述一下，张氏标定的脉络。 1、标定平面到图像平面的单应性 因为张氏标定是一种基于平面棋盘格的标定，所以 想要搞懂张氏标定，首先应该从两个平面的单应性 (homography) 映射开始着手。 单应性 (homography) ：在计算机视觉中被定义为一 个平面到另一个平面的投影映射。首先看一下，图像平面与 标定物棋盘格平面的单应性。 由上两篇博文中讲到的摄像机模型，肯容易得到： 其中 m 的齐次坐标表示图像平面的像素坐标 (u,v,1) ，M 的齐次坐标表示世界坐标系的坐标点 (X,Y,Z,1) 。A[R t] 即是上面 一篇博客推出的 P。R 表示旋转矩阵、 t 表示平移矩阵、 S 表示尺度因子。 A 表示摄像机的内参数 ,具体表达式如下： =f/dx ，β =f/dy, 因为像素不是规规矩矩的正方形，γ代表像素点在 x,y 方向上尺度的偏差。 这里还有一个“梗儿”，就是 S。它只是为了方便运 算，对于齐次坐标，尺度因子不会改变坐标值的。 因为标定物是平面，所以我们可以把世界坐标系构造在 Z=0 的平面上。 然后进行单应性计算。 令 Z=0 可以将上式转换为 如下形式： 既然，此变化属于单应性变化。那么 我们可以给 A[r1 r2 t] 一个名字：单应性矩阵。 并记 H= A[r1 r2 t]。 那么现在就有： 大家可以分析一下， H 是一个三 3*3 的矩阵，并且有一个元素是作为齐次坐标。 因此，H 有 8 个未知量待解。 (x,y) 作为标定物的坐标， 可以由设计者人为控制， 是已知量。 (u,v) 是像素坐标，我们可以直接通过摄像机获得。对于一组对应的 (x,y)- à (u,v) 我们可以获得两组方程。 现在有 8 个未知量需要求解，所以我们至少需要八 个方程。所以需要四个对应点。四点即可算出，图像平面到 世界平面的单应性矩阵 H 。 这也是张氏标定采用四个角点的棋盘格作为标定 物的一个原因。 在这里，我们可以将单应性矩阵写成三个列向量的 形式，即： 2、利用约束条件求解内参矩阵 A 从上面可知，应用 4 个点我们可以获得单应性矩阵 H 。但是， H 是内参阵和外参阵的合体。我们想要最终分别 获得内参和外参。所以需要想个办法，先把内参求出来。然 后外参也就随之解出了。我们可以仔细的“观摩”一下下面的 式子。 从中可以得出下面两个约束条件，这两个约束条件 都是围绕着旋转向量来的。 1、 r1,r2 正交 得： r1r2=0 。这个很容易理解，因为 r1,r2 分别是绕 x,y 轴旋转的。 应用高中立体几何中的两垂直 平面上（两个旋转向量分别位于 y-z 和 x-z 平面）直线的垂 直关系即可轻松推出。 2、旋转向量的模为 1，即 |r1|=|r2|=1 。这个也很容 易理解，因为旋转不改变尺度嘛。如果不信可以回到上一篇 博客，找到个方向的旋转矩阵化行列式算一下。 通过上面的式子可以将 r1,r2 代换为 h1,h2 与 A 的 组合进行表达。即 r1=h1A-1 ，r2=h2A-1. 根据两约束 条件，可以得到下面两个式子： 大家从上面两个式 子是不是看出一点端倪了。式子中， h1,h2 是通过单应性求 解出来的那么未知量就仅仅剩下，内参矩阵 A 了。内参阵