一种基于梯度的多智能体元深度强化学习算法.pdfVIP

第41卷第5期计算机应用研究Vol.41No.5

2024年5月ApplicationResearchofComputersMay2024

一种基于梯度的多智能体元深度强化学习算法米

赵春宇，赖俊，陈希亮，张人文

（陆军工程大学指挥控制工程学院，南京210007)

摘要：多智能体系统在自动驾驶、智能物流、医疗协同等多个领域中广泛应用，然而由于技术进步和系统需求

的增加，这些系统面临着规模庞大、复杂度高等挑战，常出现训练效率低和适应能力差等问题。为了解决这些问

题，将基于梯度的元学习方法扩展到多智能体深度强化学习中，提出一种名为多智能体一阶元近端策略优化

（MAMPPO)方法，用于学习多智能体系统的初始模型参数，从而为提高多智能体深度强化学习的性能提供新的

视角。该方法充分利用多智能体强化学习过程中的经验数据，通过反复适应，找到在梯度下降方向上最敏感的

参数并学习初始参数，使模型训练从最佳起点开始，有效提高了联合策略的决策效率，显著加快了策略变化的速

度，面对新情况的适应速度显著加快。在星际争霸I上的实验结果表明,MAMPPO方法显著提高了训练速度和

适应能力，为后续提高多智能强化学习的训练效率和适应能力提供了一种新的解决方法。

关键词：元学习；深度强化学习；梯度下降；多智能体深度强化学习

中图分类号：TP181文献标志码：A文章编号：1001-3695(2024)05-011-1356-06

doi:10.19734/j.issn.1001-3695.2023.09.0411

Gradient-basedmulti-agentmetadeepreinforcementlearningalgorithm

ZhaoChunyu,LaiJun,ChenXiliang,ZhangRenwen

(CollegeofCommandControlEngineering,ArmyEngineeringUniversityofPLA,Nanjing210007,China)

Abstract:Multi-agentsystemshaveawiderangeofapplicationsinmanyfields,suchasautonomousdriving,intelligentlogis-

tics,andmedicalcollaboration,etc.However,duetotechnologicaladvancesandincreasedsystemrequirements,thesesys-

temsfacechallengessuchaslargescaleandhighcomplexity,andoftensufferfrominefficienttrainingandpooradaptability.

Toaddresstheseproblems,thispaperproposedamulti-agentfirst-ordermetaproximalpolicyoptimization(MAMPPO)method

byextendinggradient-basedmeta-learningtomulti-agentdeepreinforcementlearning.Themethodlearnedtheinitialmodel

parametersinthemulti-agentsystemtoprovideanewperspectiveforimprovingtheperformanceofmulti-ag