元强化学习在AUV多任务快速自适应控制的应用.pdfVIP

第47卷第5期舰船科学技术Vol.47,No.5

2025年3月SHIPSCIENCEANDTECHNOLOGYMar.,2025

元强化学习在AUV多任务快速自适应控制的应用

徐春晖1-2，杨士霖123，徐德胜1.2.3，方田1,2.3

（1.中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁沈阳110016；

2.辽宁省水下机器人重点实验室，辽宁沈阳110169；3.中国科学院大学，北京100049）

摘要：为解决基于深度强化学习的AUV跟踪控制器在面临新任务时需从零开始训练、训练速度慢、稳定性

差等问题，设计一种基于元强化学习的AUV多任务快速自适应控制算法一一R-SAC算

法。R-SAC算法将元学习与强化学习相结合，结合水下机器人运动学及动力学方程对跟踪任务进行建模，利用R-

SAC算法在训练阶段为AUV跟踪控制器获得一组最优初始值模型参数，使模型在面临不同的任务时，基于该组参

数进行训练时能够快速收敛，实现快速自适应不同任务。仿真结果表明，所提出的方法与随机初始化强化学习控制

器相比，收敛速度最低提高了1.6倍，跟踪误差保持在2.8%以内。

关键词：AUV；元强化学习；最优初始值模型参数；快速收敛

中图分类号：TP242.6文献标识码：A

doi:10.3404/j.issn.1672-7649.2025.05.014

文章编号：1672-7649(2025)05-0089-08

Applicationofmeta-reinforcementlearninginAUVmulti-taskrapidadaptivecontrol

XUChunhuil2,YANGSili23,XUDesheng2,FANGTian23

(1.StateKeyLaboratoryofRobotics,ShenyangInstituteofAutomation,ChineseAcademyofSciences,Shenyang110016,China;

2.KeyLaboratoryofMarineRobotics,LiaoningProvince,Shenyang110169,China;

3.UniversityofChineseAcademyofSciences,Beijing100049,China)

Abstract:ToaddresstheissueofAUVtrackingcontrollersbasedondeepreinforcementlearningrequiringretraining

fromscratchfornewtasks,exhibitingslowtrainingspeeds,andpoorstability,amulti-taskrapidadaptivecontrolalgorithm

basedonmeta-reinforcementlearning,termedR-SAC(Reptile-SoftActorCritic),hasbeendesigned.TheR-SACalgorithm

integratesmeta-learningwithreinforcementlearningandmodelsthetrackingtasksbycombiningunderwatervehiclekin-

ematicanddynamicequation