基于深度强化学习的AUV路径规划方法研究.pdf

基于深度强化学习的AUV路径规划及动态避障方法研究

摘要

在复杂多变的海洋环境中，路径规划问题尤为复杂。自主水下航行器（Autonomous

UnderwaterVehicle,AUV）因其独特的能力和灵活性，在科学研究、海底能源开发、打捞

作业等领域都有巨大的潜力。在AUV实际航行过程中，水下未知动态障碍物、洋流等

都会对AUV的安全造成很大的影响，所以规划出一条安全可靠、省时节能的路线是非

常有必要的。本文采用深度强化学习算法，从AUV全局路径规划和局部动态避障两方

面进行了研究。

首先本文基于海底地形高程数据模拟了海底地形环境，然后通过栅格地图的缩放变

换，将地形环境转换为三维栅格海底地形图。同时对洋流信息建立二维涡流模型，利用

多个涡流叠加实现洋流建模，形成了一个包含洋流信息的三维海底地形模型。

其次，针对软演员-评论家（SoftActor-Critic,SAC）算法在路径规划任务中探索性较

强、训练前期容易失败和难以收敛等问题，本文提出了基于人工势场法（Artificial

PotentialField,APF）改进的SAC算法，该算法改进了SAC算法的动作选择策略，在训

练前期对AUV的路径探索进行指导。同时建立了AUV航行过程中的能耗惩罚模型，

其中包含距离能耗和动作能耗，并将其加入到了改进SAC算法中的奖励函数中，实现

了能耗优先和距离优先的路径规划算法设计。仿真实验证明，在优先路径原则和优先能

耗原则的规划策略下，与传统的SAC算法相比，改进SAC算法的收敛速度和稳定性都

优于原SAC算法，并从路径长度、用时、能量消耗等评价指标上证明了APF-SAC算法

的有效性。

最后本文采用基于深度确定性策略梯度算法（DeepDeterministicPolicyGradient,

DDPG）进行了AUV局部路径规划问题。针对传统的DDPG算法探索动作单一、环境

变化适应性差等问题，本文提出了一种正弦式衰减学习率和探索率的动态调整策略，并

结合AUV运动学模型通过将AUV与障碍物的相对位置和速度信息反馈到DDPG算法

中的行为价值网络，得到动作的评估价值，策略网络再根据价值网络的反馈信息进行实

时动作更新，从而鼓励更多的探索，进而找到更好的避障路径。同时，为了验证算法的

抗干扰能力，提高AUV在复杂海洋环境中的适应能力，本文在路径规划任务中加入了

洋流干扰因素，一类是对AUV自身线速度的干扰，另一类是对周围障碍物随机移动的

干扰。在模拟仿真环境中进行实验，在相同的环境参数条件下，除了将改进DDPG算法

和原始DDPG算法进行对比实验外，引入了同样是基于Actor-Critic框架的SAC算法和

硕士学位论文哈尔滨工程大学

TD3算法。实验结果表明了改进的DDPG算法在收敛速度、训练稳定性和抗干扰能力上

的优越性。

关键词：路径规划；软演员-评论家算法；局部避障；深度确定性策略

基于深度强化学习的AUV路径规划及动态避障方法研究

Abstract

Incomplexandchangeableoceanenvironments,thepathplanningproblemisparticularly

complex.AutonomousUnderwaterVehicle(AUV)hashugepotentialinscientificresearch,

submarineenergydevelopment,salvageoperationsandotherfieldsduetoitsunique

capabilitiesandflexibility.DuringtheactualnavigationofanAUV,unknownunderwater

dynamicobstacles,oceancurrents,etc.willhaveagreatimpactonthesafet