视觉控制中的基础问题课程方案.ppt

视觉控制中的基础问题 徐德 副教授 2004年4月2日 内容提要 摄像机模型与标定 图像处理 视觉控制 1、摄像机模型与标定 小孔模型 摄像机参数 基于灭点 vanish 的内参数标定 Faugeras的摄像机标定方法 Tsai的摄像机标定方法 张正友的标定方法 仿射变换法 手眼标定 基于运动的摄像机标定与手眼标定 基于平面靶标的摄像机标定 小孔模型 小孔模型，内参数 小孔模型，外参数 平面视觉摄像机的标定 平面视觉摄像机的位姿 摄像机光轴中心线与景物平面平行，景物坐标为 摄像机固定不动，焦距固定。景物坐标系原点可选择光轴中心线与景物平面的交点，于是有R I, t [0 0 d]T, d是选择光轴中心到景物平面的距离。 摄像机的标定 平面视觉摄像机的标定 摄像机的标定 基于灭点的内参数标定 5参数模型 内参数标定 内参数标定 内参数标定 内参数标定 内参数标定 Faugeras的摄像机标定方法 摄像机模型 内参数为4参数模型 摄像机的标定（直接最小二乘） Faugeras的摄像机标定方法 摄像机的标定 摄像机的标定 摄像机的标定 Faugeras的摄像机标定方法 带约束条件 时，摄像机的标定 带约束条件摄像机的标定 带约束条件摄像机的标定 Tsai的摄像机标定方法 符号与条件 Tsai的摄像机标定方法 外参数模型 摄像机标定 1、ty的求取 摄像机标定 摄像机标定 摄像机标定 当u1和u2不同时为0，且u3和u4不同时为0时 摄像机标定 3、 的求取 摄像机标定 利用所有的标定点构成线性方程组 张正友的标定方法 1 在不同角度对一幅平面方格图形采集图像，一般需要采集5幅以上图像 2 提取交叉点作为特征点 3 消除特征点的空间坐标，求出内参数 4 利用线性方法求取畸变矫正系数 5 反复进行步骤3和4得到摄像机的内参数和畸变矫正系数 参见 Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol.22, No.11, pp.1330- 1334, 2000. 仿射变换法 在图像平面中，理想图像坐标到测量图像坐标间的仿射方程为： 由透视投影，有： 仿射变换法 对于第i个标定点，有： 上式中F作为已知量。共有12个未知数，需要6个以上的标定点，求解上述方程，获得S，即仿射模型的摄像机参数 。 由图像坐标到空间坐标的转换为： 手眼标定 手眼标定 手眼标定实验结果 基于运动的摄像机标定与手眼标定 摄像机与激光器标定 基于单特征点标定相对于该特征点内外参数 标定该特征点在机器人基坐标系下的坐标 标定激光结构光平面参数 摄像机与激光器标定 摄像机与激光器标定 摄像机与激光器标定 摄像机与激光器标定 摄像机与激光器标定 摄像机与激光器标定 基于平面靶标的摄像机标定 畸变矫正, ku, kv, u0, v0 基于平面靶标的摄像机标定 内参数kx, ky与外参数的标定 基于平面靶标的摄像机标定 内参数kx, ky与外参数的标定 基于平面靶标的摄像机标定 内参数Kx, Ky与外参数的标定 标定结果 2、图像处理常用基础知识 目标分割：基于颜色，灰度等 图像增强与二值化 Gaussian 滤波：消除图像噪声 边缘提取：微分算子，Canney算子 Hough变换：速度低 Hotelling 变换 特征提取 目标分割 目标特征描述 颜色，灰度，形状等 目标分割 目标分割 根据灰度分割 目标分割 目标特征描述 根据颜色分割 目标分割 目标特征描述 根据颜色与形状分割 图像增强与二值化 自适应阈值图像增强 图像增强与二值化 自适应阈值图像增强 高通滤波 滤波 图像噪声 椒盐噪声 salt pepper :随机出现黑/白点 脉冲噪声 pulse :黑/白横线 高斯噪声 Gaussian :服从高斯或正态分布 线性滤波 卷积 滤波 线性滤波：卷积模板为线性 均值滤波:利用卷积模板区域取平均值作为图像值 平滑滤波 滤波 线性滤波 Gaussian滤波 边缘提取 一阶微分算子： 梯度 常用梯度算子 边缘提取 微分算子： 边缘提取 二阶微分算子： Laplacian算子 常用Laplacian算子 边缘提取 常用边缘提取算法 LoG算法 Laplacian of Gaussian 将Gaussian滤波器与Laplacian 边缘算子结合。 利用线性内插方法可以在子像素分辨率水平上估计边缘位置。 Gaussian平滑滤波 二维Laplacian增强 二阶导数为0一阶导数峰值 Canny算法 Gaussian平滑滤波 一阶偏