基于深度强化学习的移动机器人路径规划方法研究.pdfVIP

大连理工大学硕士学位论文

摘要

作为移动机器人在复杂环境中有效导航的核心技术，路径规划是指基于最小距离、

路径质量以及能源效率等标准，确定机器人的初始位置和期望终点位置之间的最优轨迹。

然而传统的路径规划方法如快速搜索随机树、概率路线图等算法，过于依赖环境先验信

息且通常是高度定制的，即环境信息发生微小的变化，也需重新设计路线。为解决机器

人无地图探索任务的问题，本文利用ROS系统与Gazebo仿真软件搭建仿真环境，实现

机器人与传感器之间的通信，并在深度强化学习（DRL）算法架构中设计新的网络结构

与算法实现机器人探索系统。主要研究内容如下：

首先，回顾了深度确定性策略梯度算法（DeepDeterministicPolicyGradient,DDPG）

的相关理论，并针对DDPG存在的收敛速度慢、训练过程稳定性差以及环境信息利用不

充分等问题进行改进。为了提高神经网络的收敛速度，提出了一种基于Caputo算子和

Adam算法的分数阶梯度下降算法（FractionalorderAdamoptimizer,FOAdam），并利用

优化理论和仿真分析其收敛性能，证明其良好的收敛速度和精度。为了使机器人能够更

好的利用环境信息，引入长短期记忆递归神经网络（LongShortTermMemory,LSTM），

可以使机器人在考虑当前状态时参考前序状态信息，进而帮助机器人做出更优的决策。

为了提高机器人在训练过程中的稳定性，提出基于多步更新的状态价值函数，该函数通

过考虑后续多个时间步的回报和状态转移来计算目标值，来达到减少更新方差并提高训

练稳定性的目的。

其次，为了使机器人能够顺利完成路径规划任务，为其搭建基于改进DDPG算法的

移动机器人自主路径规划框架。将移动机器人训练过程中通过传感器获取的周围环境信

息离散化作为机器人所处状态，同时添加一些辅助信息帮助机器人更好的做出判断；为

机器人设计即时奖励与连续奖励，使得机器人的每一步执行动作都能实时得到反馈；为

机器人设置合理的动作空间，保证在仿真环境下机器人动作的连续性和对环境的有效探

索。

最后，利用ROS操作系统和Gazebo仿真软件，创建移动机器人模型，搭建不同类

型的仿真环境验证改进算法的可行性与有效性。实验结果表明：改进后的I-DDPG

（Improved-DDPG）算法加快了训练流程，减少了训练过程中的不稳定因素，所得出的

规划路径更短。同时将在仿真环境中训练好的神经网络参数移植到真实的物理样机中进

行路径规划实验，验证I-DDPG算法在真实未知的环境中执行路径规划任务的可行性。

关键词：深度强化学习；路径规划；DDPG算法；FOAdam；

-I-

大连理工大学硕士学位论文

ABSTRACT

Asthecoretechnologyfortheeffectivenavigationofmobilerobotsincomplex

environments,pathplanningpertainstodeterminingtheoptimaltrajectorybetweentheinitial

positionoftherobotandthedesiredterminalposition.Thedeterminationoftheoptimal

trajectoryispredicatedontheminimumdistance,pathquality,andenergyefficiency.

Nevertheless,traditionalpathplanningapproaches,suchasthefastsearchrandomtreeand

probabilisticroadmapalgor