基于TD3的船舶避碰路径规划算法研究.pdfVIP

基于TD3的船舶避碰路径规划算法研究

摘要

随着经济全球化的飞速发展，水路运输在国际贸易中占据了举足轻重的地位。

海上的船舶越发的大型化、快速化，然而，这也带来了船舶在航运过程中碰撞危险

的显著增加。船舶碰撞事故一旦发生，不仅会导致巨额的财产损失，还可能造成惨

重的人身伤亡，更对海洋环境造成无法挽回的污染与破坏。鉴于这一严峻形势，本

文对船舶自主智能避碰系统进行的深入研究，设计了基于均值方差的DER-TD3算法

的船舶自主避碰系统，该系统可以缓解船舶驾驶人员的压力，减少海上船舶碰撞事

故的发生，减少财产和人员的损伤。本文的研究内容主要涵盖以下几个方面：

首先，本文完成基于云模型理论的船舶碰撞危险度评估模型的搭建，以解决目

前船舶碰撞危险度评估模型参数量化能力差，不能准确计算出船舶危险度的问题。

DCPATCPACRI

本文将、和三者的云模型进行数据处理。通过运用双条件单规则发

生器，成功地将这三个关键指标融合在一起，构建了基于云模型的船舶碰撞危险度

评估模型。然后，本文针对不同的会遇局面进行了仿真实验，结果表明本文完成的

船舶碰撞危险度评估模型，能够全面考虑影响碰撞风险的各种因素，准确计算船舶

在不同会遇局面下的碰撞危险度，为船舶驾驶员或智能系统提供有力的决策支持。

其次，针对船舶避碰数据获取困难、样本效率低问题，提出了基于均值方差的

DER-TD3算法。基于均值方差的DER-TD3算法是一种深度强化学习算法，无需获

取外部数据就能完成对模型的训练。本文采用基于方差加权平均的改进方法，通过

引入方差信息提高TD3算法的Q值估计准确度，有效缓解TD3算法Q值解低估现

象、增强算法稳定性、提高模型精度。同时，为解决样本效率低问题，采用双经验

池的经验回放方法，以加快算法收敛速度、提高样本利用效率。为了验证基于均值

方差的DER-TD3算法的通用性，选择了一阶倒立摆作为测试任务进行训练。仿真结

果表明，与原始TD3算法相比，基于均值方差的DER-TD3算法在收敛速度、稳定

性和性能等方面均有所提升。这充分证明了本文所提出改进方法的通用性和有效性。

最后，根据船舶避碰原理，设计强化学习要素。基于均值方差的DER-TD3算法，

进一步设计了算法的网络结构以及网络更新方法。分别在单船避碰环境和多船避碰

环境下进行了仿真实验。实验结果表明，与原始TD3算法相比，本文设计的算法所

获得的奖励值和训练收敛速度方面均有了显著的提升。在单船避碰环境中，算法能

够准确判断会遇局面，并采取相应的避碰措施，安全迅速的完成避碰；在多船避碰

哈尔滨工程大学专业硕士学位论文

环境中，算法能够综合考虑多个目标船的影响，根据本船与各目标船之间的碰撞危

险度，制定出更加合理和有效的避碰策略。

关键词：TD3算法；云模型；经验回放；单舶避碰；多船避碰

基于TD3的船舶避碰路径规划算法研究

ABSTRACT

Withtherapiddevelopmentofeconomicglobalization,waterwaytransportationplays

animportantroleininternationaltrade.Shipsatseaarebecominglargerandfaster.

However,thisalsobringsasignificantincreaseintheriskofcollisionduringshipping.Once

ashipcollisionaccidentoccurs,itwillnotonlyleadtohugepropertylosses,butalsomay

causeheavypersonalcasualties,andcauseirreparablepollutionanddamagetothemarine

environment.Inviewofthisgrimsituation,thispaperconducts