服务机器人抓取约束的示范学习与任务推理.pdf

摘要 服务机器人抓取约束的示范学习与任务推理 研 究 生：徐 俊 导 师：钱 堃 副教授 学校名称：东南大学 摘要 对于服务机器人而言，能否高效准确地学习物体操作、建立和谐的人机交互工作模 式是决定其智能化水平的关键因素。考虑到服务机器人在日常生活中扮演的角色，从人 类行为中提取、学习并储存操作经验知识更加便利，机器人示范学习(Learning by Demonstration, LbD)技术提供了这一接口。本文针对抓取任务操作的示范学习，构建完 整的LbD 系统框架，系统地对感知、学习和映射三个环节分别研究了示范行为中手与物 体位姿拟合方法、抓取约束学习方法与任务意图推理方法和示范行为动作基元分解技术， 旨在构建机器人由抓取演示动作或交互对象行为中提取任务目标，然后依据设定的行为 规范做出反应的完整流程。 本文根据LbD 系统中信息提取、知识学习与映射重现的环节划分展开研究，并分别 进行了实验验证。首先，从传统直接映射方式出发，依据对示范空间映射程度的不同， 为 LbD 系统设计了三种工作模式。然后，针对演示行为中的信息提取，应用了基于 KCF(Kernelized Correlation Filters) PSO - 、虚拟映射与 的示范轨迹、手物位姿提取方案， RGB-D - 实现了基于单个 传感器的手 物姿态、轨迹和关节角的拟合，并且在满足准确性 需求的同时具有一定的实时性。接着，为了赋予机器人结合任务与操作对象的抓取位置 分析选择能力，设计应用了基于贝叶斯网络模型的抓取约束学习方法，使用Graspit 仿 真平台生成训练样本，采用贝叶斯信息准则与登山搜索算法进行网络结构学习、最大似 然估计算法获取网络参数，实现了基于抓取动作单帧的任务意图推理过程和基于任务目 标实际物体属性的抓取位置的学习过程，并在采集到的实际物体点云上进行抓取热区分 布推理与结果渲染。其次，针对操作任务复现规划部分，本文从符号层面对演示行为进 行子片段分解，采用了基元组合的方式描述复杂任务的执行流程，基于层次隐式马尔科 夫模型(Hierarchical Hidden Markov Model, HHMM)设计了示范行为动作基元分解、识别 方法。机器人根据基元序列进行执行复现，将机器人复杂任务规划过程简化成多个简单 动作规划问题。最后，根据上述研究内容，本文分模块搭建了机器人示范学习实验系统， 实现了操作行为特征提取、操作意图推理、抓取位置区域推理、操作任务基元分解等功 能，并分别进行功能验证。除此之外，针对提出的系统三种工作模式分别设计了匹配的 实际任务，在UR5 机械臂平台和VREP 仿真平台上进行了实际复现，验证了开柜子门、 - 拉抽屉、拼字、分拣、倒水、交接物品和工具使用等典型操作任务的示范 复现过程。 关键词：服务机器人，示范学习，抓取位姿拟合，约束学习，基元分解 I Abstract Manipulation Constraints Learning from Demonstration and Task Inference for Service Robots MSc Student ：XU Jun Supervisor： Associate Prof. QIAN Kun