基于深度强化学习的移动机器人在动态环境下路径规划研究.pdf

基于深度强化学习的移动机器人在动态环境下路径规划研究

摘要

随着科学技术的发展，移动机器人已经深入到各种生产和生活实践中，为人类提供

了极大的便利。路径规划问题是移动机器人技术中的一个研究热点，本论文以TurtleBot3

Burger移动机器人为研究对象，以完成移动机器人在动态环境下的路径规划任务为目标，

TD3TwinDelayedDeepDeterministicPolicyGradient

基于（）算法，研究了移动机器人

在动态环境下的路径规划算法。针对任务中该算法表现出的问题，设计了基于改进TD3

的路径规划算法，对比研究结果显示较好地提高了路径规划性能。

论文首先在ROS系统环境下，通过设计Turtlebot3Burger移动机器人模型文件，并

且根据其特性以及实验需求，编写了环境文件，在Gazebo中实现了可视化的机器人模

型和动态仿真实验环境。在此基础上建立并分析了移动机器人运动学模型，结合激光雷

达原理和动态环境参数，确定了实验中机器人的状态空间、动作空间和奖励函数，并设

计了基于TD3算法的移动机器人在动态环境下路径规划算法框架及仿真实验。在仿真

实验中，算法实现了路径规划任务，但训练收敛时间过长，在测试环节中成功率也并不

高。

然后，论文从四个方面分析了TD3算法在动态环境路径规划任务中上述问题的成

因，并针对其分别设计了改进方法。其中，设计采用优先经验回放解决失败经验对训练

过程的影响；利用迁移学习，在当前训练中获得合适的初始权重参数进行下一次训练，

缩短训练时间；引入OU噪声，优化训练中移动机器人的探索方式；设计了动态延迟更

新方法，使更新步长更合理，从而有效避免了局部极小值的影响。将这些改进方法整合

到TD3算法中，形成改进TD3算法，分别应用在动静态环境路径规划任务中，通过对

比实验，验证了改进TD3算法有效性。其中，在动态环境仿真实验中，改进TD3算法

DDPGDeepDeterministicPolicyGradient

相对（）算法在相同动态仿真环境下测试成功

率提高了22.4%，训练总用时缩短了约2h。相对TD3算法，在测试成功率上提高了16.6%，

训练时间缩短了约3h，验证了基于改进TD3算法的动态环境下路径规划算法的性能提

升。

最后，由于改进TD3算法是在特定环境中的仿真实验，为验证该算法对不同环境

的适应性，建立了两种递进的复杂动态环境，设计了包含互相独立的训练环节和测试环

节的泛化能力实验。实验训练收敛情况良好，且测试结果显示移动机器人到达目标点的

成功率分别达到了91.3%和85.5%，显示改进TD3算法应对移动机器人在动态环境下路

径规划问题时有较强泛化能力。

基于深度强化学习的移动机器人在动态环境下路径规划研究

关键词：移动机器人；路径规划；动态环境；改进TD3算法

基于深度强化学习的移动机器人在动态环境下路径规划研究

ABSTRACT

Thedevelopmentofscienceandtechnologyhasledtothewidespreaduseofmobile

robotsinvariousproductionanddailyactivities,whichhasgreatlybenefitedhumans.The

problemofpathplanningisaresearchhotspotinmobilerobottechnology.Focusedonthis

issue,theTurtleBot3Burgermobilerobotwasusedastheresearchsubject,andtocomplete

thepathpl