机器人手眼协调研究读书总结报告.ppt

视觉伺服过程 神经网络中机器人视觉前馈控制 视觉伺服过程 机器人视觉反馈控制 双目视觉控制 关键问题 视觉测量 视觉深度信息 为了通过二维像平面上一点来确定物体在三维空间中的关系必须有附加的信息，主要包括：多个视图，目标物体上多个特征点之间的几何关系。 关键问题 视觉控制 经典控制方法有PID方法、极点配置方法。 现代控制方法有最优控制方法、自适应控制方法等。 模糊逻辑和神经网络为代表的智能控制方法也广泛应用于机器人视觉伺服控制。 关键问题 视觉运动规划 势场 导航函数 关键问题 视觉伺服系统的稳定性 国家精品课程网上资源的可用性研究/*** 机器人手眼协调研究读书报告 指导老师：张明路教授教授 汇报人: 邓洁平 报告内容 手眼协调系统的发展 手眼协调系统的发展： 利用视觉信息控制机器人的历史可以追溯到1963年由Stanford大学wichman提出的以获得视频流作为输入信息对机器人进行运动控制的方 法,他的这个思想后来被认为是机器人视觉控制的雏形。 开环：look then move 视觉信息处理和机器人的运动 是独立分开的两个串行的任务。 闭环：利用视觉信息反馈控制机器人的研究模型,成功 的以视觉反馈引导机器人 开环与闭环的比较 比较 开环：精度难以控制，且对先验知识 依赖度高 闭环：克服了开环的缺点 但是要求机器人末端 操作器始终可以在视觉场景中观测到 视觉伺服控制方法 基于位置的视觉伺服控制（三维视觉） 利用摄像机的参数来建立图像信号与机器人的位置/姿态信息之间的映射,然后在伺服过程中,借助于图像信号来提取机器人的位置/姿态信息,并将它们与给定位姿进行比较,形成闭环反馈控制。 视觉伺服控制方法 给定 位姿 三维视觉 控制器 机器人 对象 照相机 图像处 理环节 照相机 逆映射 控制信号 位姿信号 图像信号 二维信号 当前位姿 基于位置的视觉伺服基本结构 视觉伺服控制方法 基于图像的视觉伺服控制（二维视觉） 与三维视觉伺服不同,基于图像的视觉伺服将 实时测量得到的图像信号与给定图像信号直接进行 在线比较,然后利用所获得的图像误差进行反馈来 形成闭环控制。 视觉伺服控制方法 给定 图像 二维视觉 控制器 机器人 对象 照相机 图像处 理环节 控制信号 位姿信号 图像信号 当前图像 基于图像的视觉伺服基本结构 视觉伺服系统方法 1.基于位置的视觉伺服控制 精度取决于摄像机的参数准确性以及图像的噪声，无法保证机器 人或者参考物体始终位于摄像机的视野之内 2.基于图像的视觉伺服控制 对于摄像机模型的偏差具有较强的鲁棒性,通常也能较好地保证机器人或参考物体位于摄像机的视野之内,但是在设计视觉伺服控制器时,这种方法又不可避免地遇到了图像雅可比矩阵Js的奇异性以及局部极小等问题 T=Js(s-s*) 视觉伺服系统方法 3. 2.5维视觉伺服控制 考虑到以上2种视觉伺服方法的局限性,法国机器人视觉控制专家 F. Chaumette等人提出了2.5维视觉伺服。 它将摄像机平动位移(V)与旋转(O)的闭环控制解耦,根据从图像中提取出来的特征点,重构物体3D空间中的方位及成像深度比率,平动部分用图像平面上的特征点坐标表示。 视觉伺服系统方法 位置控制律 旋转控制律 关节控制器 机器人 摄像机 特征提取 单应性矩 阵分解 旋转分量 位置分量 期望位置 期望转角 视觉伺服过程 机器人执行伸手抓取操作的视觉伺服过程被分成5步: 搜索 接近目标 粗对准 精对准 抓取 视觉伺服过程 搜索.头部左右和上下转动来搜索定位目 标物体,摄像头获取物体的位置信息. 接近目标. 控制本体从远处步行靠 近目标物体,然后静止站立在物体前面. 视觉伺服过程 粗对准.利用视觉前馈和基于表格的逆运动学算法控制机器人手运动到视觉区域内 3维位置估计 特征提取 观测目标 基于表格 的机器人 运动求解 路径规划 关节传感器 机器人 控制关节器 关节空间坐标 关节运动轨迹 关节 位置 直角坐标系 基于视觉前馈的视觉伺服控制流程 机器人视觉前馈控制主要包括视觉深度估计和基于内部模型学习的前馈控制等过程。 建立基于神经网络和强化学习的视觉一运动映射学习模型,将视觉信息和机器人动作对应起来,通过在线学习来逼近这个非线性映射,将机器人速度输出作为前馈控制发送的运动指令“ 视觉伺服过程 精对准：同时测量机器人的手部和目标物体的三维信息,以手部mark中心和目标质心之间的距