视觉控制初步.pptVIP

视觉控制初步 徐德 副教授 2003年12月3日 内容提要 视觉控制 二维视觉控制 立体匹配 立体视觉控制中深度信息的获取 视觉控制的基本类型 视觉控制 视觉控制：利用摄像机的图像信息，对机器人的运动进行控制。如机器人足球，机器人装配等 视觉测量：利用摄像机的图像信息获取目标位置、速度等的测量方法。如工件的三维测量 视觉跟踪：通过调整摄像机的位姿、焦距等，使目标图像保持在一定的尺度。如人脸跟踪，足球跟踪 视觉伺服：利用摄像机的图像信息作为反馈，对机器人的运动进行伺服控制。如机器人装配、机器人焊接 视觉控制 视觉控制的分类 按照对象工作空间(位置)分类 二维视觉控制 立体(三维)视觉控制 按照摄像机数目分类 单目视觉控制 双目视觉控制 多目视觉控制 结构光视觉控制 按照控制方式分类 视觉位置给定型 视觉反馈型 基于位置的视觉伺服，基于图像的视觉伺服，混合型视觉伺服 视觉伺服分类 二维视觉控制 基本原理 位置给定型视觉控制 二维视觉控制 位置给定型视觉控制 二维视觉控制 位置反馈型视觉控制 立体匹配 立体成像 两个摄像机光轴平行，基线距离为B. 以Cl的光轴中心作为坐标原点，有： 立体匹配 立体匹配 外极(epipolar)平面：场景点P与两个 摄像机光轴中心点C1、C2构成的平面。 外极线：外极平面与成像平面的交线。 外极点(epipole)：两个摄像机光轴中心点C1、C2连线与成像平面的交点。 立体匹配(stereo matching)：场景点P在两个摄像机成像平面的对应点称为共轭点。寻找共轭点的过程称之为立体匹配，又称为图像配准。 立体匹配约束 基本约束 外极线约束：在一幅图像上选择特征点后，根据两台摄像机的相对关系，可以确定在另一幅图像的外极线方程。沿外极线搜 立体匹配 基本约束 索可以减少搜索区域，提高搜索速度。 立体匹配 立体匹配 基本约束 一致性约束：不同的摄像机得到同一点处的光强可能差别很大，因此，在匹配前对图像进行规范化处理。 立体匹配 基本约束 唯一性约束：一幅图像上的一个特征点只能与另一幅图像上的唯一一个特征点匹配。 连续性约束：物体表面一般是光滑的，因此，物体表面上的各点在图像上的投影也是连续的，视差也是连续的。在物体边界处，连续性约束不成立。 边缘匹配：通过比较边缘方向和强度粗略地进行边缘匹配，然后通过在精细尺度的匹配，获得精细视差估计。 区域相关性：由于边缘对应着物体的边界，对于曲面物体，在不同的角度看到不同的边缘，不适合边缘匹配。一种方法为在图像对中识别兴趣点，然后利用区域相关法匹配两幅图像中相对应的点。 立体视觉控制中深度信息的获取 单目测距 变焦测距 立体视觉控制中深度信息的获取 改变位姿测距 单应性矩阵：对于平面П上的点P在两个视点O1、O2下的图像齐次坐标I1=[u1, v1, 1]T和I2=[u2, v2, 1]T，存在一组单应性矩阵Hi，使下式成立： 其中，?为非零常数因子。 图像坐标系下的单应性矩阵Hi在相差一个 非零常数因子的意义下是唯一的。 通过改变摄像机的位姿，相当于有两台摄像机， 可以实现目标的三维坐标获取。 立体视觉控制中深度信息的获取 双目测距 设图像点对应的三维空间点坐标为{x, y, z}, 则摄像机1和2对应的图像特征点符合以下直线方程： 结构光测距 视觉控制的基本类型 摄像机位置 基于位置、图像的视觉控制 基于位置、图像的视觉伺服控制 不同视觉控制的特点 基于位置视觉控制的特点 需要通过图像进行三维重构 在三维笛卡儿空间计算误差 误差信号和关节控制器的输入信号都是空间位姿，实现起来比较容易。 由于根据图像估计目标的空间位姿，没有对图像进行控制，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度。 不同视觉控制的特点 基于图像视觉控制的特点 不需要通过图像进行三维重构 需要计算图像Jacobian矩阵 对标定误差和空间模型误差不敏感 设计控制器困难 伺服过程中容易进入图像Jacobian矩阵的奇异点 一般需要估计目标的深度信息 只在目标位置附近的邻域范围内收敛且稳定性分析比较困难。 不同视觉控制的特点 混合视觉控制 混合视觉伺服得主要思想是采用图像伺服控制一部分自由度，余下的自由度采用其他技术控制。 不同视觉控制的特点 混合视觉控制的特点 不需要计算图像Jacobian矩阵。 不需要通过图像进行三维重构 保证了对于标定误差的鲁棒性以及不依赖于笛卡儿空间模型的特点 避免了估计深度信息 设计解耦的控制律，可以达到全局稳定。 需要在线实时计算图像间的单应性矩阵以及对其进行分解，计算复杂、计算量大。 在计算单应性矩阵时，为了减少计算量，常采用线性最小二乘估计的方法，但带来的缺点是对图像噪声敏感。 结