基于强化学习的双足仿人机器人步行控制.pdfVIP

摘要

随着科技的发展与进步，机器人已经开始广泛应用在人们的生产生活中。双足

机器人是其中的热点领域，其具有灵活性高、适应性强的特点，可以直接使用一些

为人类设计建造的设施，融入人类的工作生活中。在双足机器人的应用中，稳定的

步行能力是其顺利完成工作任务的基础。但双足机器人结构复杂，步行控制困难，

传统的步态规划控制方法具有模型复杂度高、应用场景局限、生成的步态与人体步

态差异较大等缺陷。因此，进行步态规划控制方法的创新研究具有重要意义。

针对上述传统步态规划控制方法存在的问题，本文设计了一种基于强化学习框

架的步行控制器，在仿真环境中进行智能体步行策略训练，并将步行策略移植到机

器人物理样机上进行实验验证。本文主要研究内容包括：（1）根据实验任务不同分

别研发了两台机器人实验平台，10自由度机器人样机具有仿人体的质量分布和结

构设计，旨在生成与人体步态相似的步行动作；6自由度机器人样机具有简单的结

构和较低的制造成本，承担步行策略在物理样机上的验证任务和步态的鲁棒性实

验任务。分别对两台机器人进行了结构设计和硬件选型，并搭建了基于RTOS（Real

TimeOperatingSystem）和ROS（RobotOperatingSystem）的控制系统。（2）分析

说明了几种主流的强化学习算法各自的特点，设计了基于近端策略优化（Proximal

PolicyOptimization，PPO）的步行控制器，进行了奖励函数、噪声条件等部分的设

计与搭建。（3）构筑了仿真实验环境并进行仿真步行训练。在Gym强化学习标准化

环境的基础上，结合MuJoCo仿真平台，智能体由步行控制器驱动与环境交互学习

步行策略，并将生成的步行策略的性能在仿真环境中进行验证。（4）搭建真实实验

环境，将仿真环境中生成的步行策略移植到机器人物理样机上进行步行实验，并对

机器人步态的仿生性和鲁棒性等进行了分析比较，表明强化学习在双足机器人步

态规划过程中的有效性。

本文针对传统机器人步态规划控制方法存在的问题，利用强化学习步行控制器

对其进行改进，并用仿真实验和真实实验证明了方案的可行性，得出了基于强化学

习的步态控制方法可以生成具有一定仿生性和鲁棒性的双足机器人步态的结论。

关键词：双足机器人,强化学习,步态规划，运动控制

I

Abstract

Withthedevelopmentoftechnologyandscience,robotshavebeenwidelyusedin

peopleslife.Asoneofthehotspots,bipedrobot,whichhasthecharacteristicsofhigh

flexibilityandstrongadaptability,ishighlyintergratedintohumanlife.Intheapplication

ofbipedrobots,stablewalkingabilityisthebasisforitscompletionofworktasks.

However,thestructureofthebipedrobotiscomplexandthewalkingcontrolisdifficult.

Traditionalgaitplanningandcontrolmethodshavethedisadvantagesofhighmodel

complexity,limitedapplicationscenarios,andlargedifferencesbetweenthegenerated

gaitandthehumangait.Therefore,itisofgreatsignificancetocarryoutinnovative

researchongai