基于分层Option仿人机器人相似性关键姿势转换.doc

基于分层Option仿人机器人相似性关键姿势转换 　　摘要： 针对运动捕获系统获取的人体运动轨迹固定、难以实现仿人机器人关键姿势转换问题，提出了一种基于分层Option学习的仿人机器人关键姿势相似性转换方法。构建多级关键姿势树状结构，从关节相似差异、时刻整体相似差异、周期整体相似差异等角度描述了关键姿势差异，引入分层强化Option学习方法，建立关键姿势与Option行为集，由关键姿势差异的累计奖励将SMDPQ方法逼近最优Option值函数，实现了关键姿势的转换。实验验证了方法的有效性。 关键词： 仿人机器人；分层强化学习；相似性；姿势 0引言 仿人机器人具有与人相似的躯干关节，能较好地模仿人体运动，是机器人研究领域的重要组成部分。仿人机器人关节运动轨迹的传统设计方法是通过求解运动解析方程实现的，具有运动轨迹平滑的优点，但与人类相比，在运动轨迹的自然过渡、能量消耗、复杂动作设计等方面存在很大差距[1]。基于人体运动相似性的仿人机器人动作设计是通过将捕获到的人体关节运动数据经由逆运动学解算后，施加运动学与动力学约束并应用于仿人机器人动作设计上，是目前仿人机器人的研究热点[2-3]。 仿人机器人相似性运动主要通过关键姿势转换实现，目前对关键姿势的研究主要体现在轨迹获取与跟踪方面，例如，文献[4]分析了由单摄像机捕获的网球击打运动过程并提出了关键姿势的自动识别与划分机制；文献[5]对人体姿势建立分类模型空间，在场景模型驱动下将连续运动轨迹划分为的多个单个分段，分别提取出关键姿势；文献[6]由几何法分析人体运动轨迹，构建出基于可变形三角形的关键姿势提取方法；文献[7]将二维人体运动捕获数据转换为匹配的三维关键运动，构建出空间运动轨迹并由行为分类器识别出关键姿势，等等。 以上研究中，关键姿势之间的变换依据连续、固定的轨迹进行，当在已有的关键轨迹中插入新的关键姿势时，运动轨迹的一致性受到破坏。为解决该问题，本文提出一种基于分层Option学习的关键姿势轨迹变换方法，采用Option分层强化学习中自适应、分层最优特点，将关键姿势定义为子状态，通过Option操作，反复迭代关节运动参数，实现从已有关键姿势插入新关键姿势的变换。 3实验验证 机器人的关节一般为几十个，而人体运动关节有数百个，因此需通过运动重定向与模型简化将演示人体的各个关节映射到仿人机器人运动模型上。图2、3为演示人体将运动姿势重定向到仿人机器人Aldebaran Nao对应肢体关节。 如图4所示，按照多级关键姿势树状结构将演示人体举右手过程划分为同级的8个关键姿势状态，其中第一个与最后一个关键姿势被视为起始状态与终止状态，其余每个关键姿势均被视为中间插入状态，Option学习任务是找到从起始状态经过中间插入状态到达最终状态的各关节最优运动轨迹策略。基本动作为上下左右，算法流程步骤5）中的T描述策略探索深度，由经验值设置为3，当在3个周期内未确定新状态则计算生成Option，生成关节角度策略探测概率为0.3，折扣因子γ=0.8，当手臂各关节到达目标关键位姿将获得奖励，奖励值为100，否则获得惩罚值-25。 参考文献： [1] 赵晓军， 黄强， 彭朝琴， 等. 基于人体运动的仿人型机器人动作的运动学匹配[J]. 机器人， 2005， 27（4）： 358-361 [2] 柯文德， 崔刚， 洪炳?， 等. 参数化优化的仿人机器人相似性前向倒地研究[J]. 自动化学报， 2011，37（8）： 1006-1013。 [3] ARISTIDOU A， LASENBY J. Motion capture with constrained inverse kinematics for realtime hand tracking[C]// The 4th International Symposium on Communications， Control and Signal Processing.Piscataway： IEEE Press， 2010：1-5。 [4] CONNAGHAN D， CONAIRE O， KEUY P，et al. Recognition of tennis strokes using key postures[C]// ISSC 2010：Signals and Systems Conference. Piscataway： IEEE， 2010： 245-248。 [5] HSIEH J W， CHEN S Y， CHUANG C H， et al. Occluded human body segmentation and its