基于强化学习的无人机三维空间路径规划研究.pdfVIP

摘要

无人机具有体积小、机动性强和成本低等优点，被广泛应用于侦查、救灾、

物资运输等领域。在其执行飞行任务的三维空间中，空间结构复杂且存在不同

数量的静态或动态障碍物，导致任务难度增大，而路径规划是保证任务成功的

重要前提之一，现已成为无人机领域的研究热点。本文围绕无人机在三维空间

中的路径规划问题进行了深入研究，主要研究内容及创新如下：

(1)针对无人机在三维静态环境下使用Q-learning算法进行路径规划时稀

疏奖励、收敛速度慢及对同一障碍重复学习导致学习效率低的问题，对使用

Q-learning算法解决路径规划问题提出了三点改进方法。第一点，提出了基于人

工蜂群算法的子目标选择与更新机制，并给出了将人工蜂群算法的历史经验转换

为智能体对环境探索经验的方法。该机制首先将所有蜜源中具有相同序数的路径

节点组成同一个候选子目标集合，然后使用评估函数对多个候选子目标集合中的

每个元素进行评估，最后选择每个候选子目标集合中的最优路径节点构成智能体

的初始子目标集合并采用大步长的方式对子目标集合进行更新；第二点，提出了

综合考虑实际距离与估计距离且对后续学习影响程度较小的Q值初始化策略；

第三点，提出了拥有记录历史障碍信息的-greedy探索策略。为使规划路径满足

无人机飞行性能约束，使用三次B样条对规划路径进行了平滑处理与曲率限制。

实验结果表明，对比标准Q-learning算法，改进后的Q-learning算法收敛速度加

快了48.83%，规划成功率提高了67.33%，路径长度缩短了30.10%，并在不同环

境中验证了改进算法具有良好的适应性。

(2)针对Q-learning算法在动态三维空间中进行局部路径规划收敛速度慢，

规避动态障碍物实时性不高的问题，提出了基于速度障碍的奖励函数，该函数利

用速度障碍进行冲突探测，使无人机未与动态障碍发生碰撞之前，能够给予在未

来预期时间内可能导致与障碍发生碰撞的动作合理惩罚，并且该奖励函数综合考

虑了物体间的运动状态、目标点位置、航迹恢复等因素，从而提高策略最优性的

同时满足了无人机规避动态障碍的实时性要求。实验结果表明，相比标准

Q-learning算法，使用该奖励函数的改进Q-learning算法收敛速度提升了18.29%，

规划成功率提升了14%，路径长度缩短了31.08%，并在不同的局部环境中验证

了改进算法的泛化能力。

关键词：强化学习，路径规划，人工蜂群算法，B样条，速度障碍

ABSTRACT

Unmannedaerialvehicle(UAV)havebeenwidelyusedinmanyapplications

duetoitssmallsize,highmobilityandlowcost,suchasinvestigation,disasterrelief

andmaterialtransportation.Becausetherearedifferentnumbersofstaticordynamic

obstaclesinthethree-dimensional(3D)spacewithcomplexspatialstructures,the

difficultyofflightmissionsmadebyUAVisfurtheraggravated.Pathplanningisone

oftheimportantprerequisitestoensurethesuccessofmissions,andhasbecomea

researchhotspotinthefieldoftheUAV.Thispaperconductsin-depthresearchon

thepathplanningin3DenvironmentfortheUAV.Themainresearchworkand

innovationsofthispaperareasfollows:

(1)Inordertosolvethep