融合元学习和PPO算法的四足机器人运动技能学习方法.pdfVIP

第41卷第1期控制理论与应用Vol.41No.1

2024年1月ControlTheoryApplicationsJan.2024

融融融合合合元元元学学学习习习和和和PPO算算算法法法的的的四四四足足足机机机器器器人人人运运运动动动技技技能能能学学学习习习方方方法法法

朱晓庆,刘鑫源,阮晓钢,张思远,李春阳,李鹏

(北京工业大学信息学部,北京100020;计算智能与智能系统北京市重点实验室，北京100020)

摘要:具备学习能力是高等动物智能的典型表现特征,为探明四足动物运动技能学习机理,本文对四足机器人步

态学习任务进行研究,复现了四足动物的节律步态学习过程.近年来,近端策略优化(PPO)算法作为深度强化学习

的典型代表,普遍被用于四足机器人步态学习任务,实验效果较好且仅需较少的超参数.然而,在多维输入输出场

景下,其容易收敛到局部最优点,表现为四足机器人学习到步态节律信号杂乱且重心震荡严重.为解决上述问题,

在元学习启发下,基于元学习具有刻画学习过程高维抽象表征优势,本文提出了一种融合元学习和PPO思想的元近

端策略优化(MPPO)算法,该算法可以让四足机器人进化学习到更优步态.在PyBullet仿真平台上的仿真实验结果表

明,本文提出的算法可以使四足机器人学会行走运动技能,且与柔性行动者评价器(SAC)和PPO算法的对比实验显

示,本文提出的MPPO算法具有步态节律信号更规律、行走速度更快等优势.

关键词:四足机器人;步态学习;强化学习;元学习

引用格式:朱晓庆,刘鑫源,阮晓钢,等.融合元学习和PPO算法的四足机器人运动技能学习方法.控制理论与应

用,2024,41(1):155–162

DOI:10.7641/CTA.2023.20847

Aquadrupedrobotkinematicskilllearningmethodintegrating

meta-learningandPPOalgorithms

ZHUXiao-qing,LIUXin-yuan,RUANXiao-gang,ZHANGSi-yuan,

LIChun-yang,LIPeng

(FaultyofInformationTechnology,BeijingUniversityofTechnology,Beijing100020,China;

BeijingKeyLaboratoryofComputationalIntelligenceandIntelligentSystem,Beijing100020,China)

Abstract:Learningabilityisatypicalcharacteristicofhigheranimalintelligence.Inordertoexplorethelearning

mechanismofquadrupedmotorskills,thispaperstudiesthegaitlearningtaskofquadrupedrobots,andreproducesthe

rhythmicgaitlearningprocessofquadrupedanimalsfromscratch.In