优先价值网络的多智能体协同强化学习算法.pdfVIP

2025年4月控制工程Apr.2025

第32卷第4期ControlEngineeringofChinaVol.32,No.4

文章编号：1671-7848(2025)04-0691-08DOI:10.14107/ki.kzgc

优先价值网络的多智能体协同强化学习算法

苗国英，孙英博，王慧琴

（南京信息工程大学自动化学院，江苏南京210044）

摘要：为了提高多智能体系统的智能决策能力，针对多智能体强化学习的经验回放存在

的弊端，以及智能体决策强调动作值而忽略状态值等问题，提出一种基于优先价值网络的

多智能体强化学习算法。首先，该算法引入优先经验回放机制，根据重要性权重进行经验

复用，解决通过随机采样进行经验复用存在的问题；其次，该算法在智能体的值网络中引

入价值优势网络形式，对比状态值与动作优势的信息，使智能体更快地学习到优势动作。

多个协同场景的实验结果表明，该算法能够提升多智能体系统的学习与合作质量，使智能

体更快、更好地做出决策，完成给定任务。

关键词：多智能体；强化学习；优先经验回放；价值优势网络；状态值

中图分类号：TP18文献标识码：A

引用格式：苗国英,孙英博,王慧琴.优先价值网络的多智能体协同强化学习算法[J].控制工程,2025,

32(4):691-698.

Multi-agentCooperativeReinforcementLearningAlgorithmBasedon

PrioritizedValueNetwork

MIAOGuoying,SUNYingbo,WANGHuiqin

(SchoolofAutomation,NanjingUniversityofInformationScienceandTechnology,Nanjing210044,China)

Abstract:Inordertoimprovetheintelligentdecision-makingabilityofthemulti-agentsystem,amulti-agent

reinforcementlearningalgorithmbasedonprioritizedvaluenetworkisproposed,thedisadvantagesof

experiencereplayofmulti-agentreinforcementlearningandtheproblemsofemphasizingactionvalueand

ignoringstatevalueinagentdecision-makingaresolved.Firstly,thealgorithmintroducesapreferential

experiencereplaymechanismtoreuseexperienceaccordingtoimportanceweights,whichsolvestheproblem

ofexperiencereusethroughrandomsampling.Secondly,thevalueadvantagenetworkisintroducedinto