多智能体深度强化学习Q值估计问题的研究.pdfVIP

多智能体深度强化学习Q值估计问题的研究

摘要

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合。在无人机、水

下无人潜航器等领域利用深度强化学习进行路径规划和群体决策成为了一个热门的研

究方向。然而，在深度强化学习算法中，存在一类基于Q学习的算法，该类算法在估计

Q值时会存在Q值估计不准确的问题，从而导致算法收敛到局部最优策略，进而导致智

能体做出错误的决策，同时算法的收敛速度减慢。在单智能体深度强化学习领域有许多

针对Q值估计相关问题的研究，通过降低高估来让智能体的决策更加准确。但在实际应

用场景中，多为多智能体协同作业，单智能体深度强化学习算法往往不能适应多智能体

系统，因此对多智能体深度强化学习中Q值估计进行研究十分重要。

针对多智能体深度强化学习算法，本文在MADDPG算法的基础上进行改进，提出

了一个新的多智能体深度强化学习算法：多智能体双延迟深度确定性策略梯度算法

（MAD4PG）。通过在每个智能体的价值网络中额外加入一个价值网络，进一步缓解了

深度强化学习在多智能体系统中Q值估计不准确的问题，提升了算法收敛时智能体的得

分，并在某些场景下可以提升算法的收敛速度。同时，延迟更新每个智能体策略网络的

参数，使得智能体在训练时稳定地朝着最优策略方向更新参数，进一步提升了算法收敛

时智能体的得分。为了提升MAD4PG算法的收敛速度，本文还将经验重放的思想用于

该算法，形成了PER-MAD4PG算法。实验结果表明，优先经验重放技巧可以加快

MAD4PG算法的训练速度。

通过实验对比，表明了本文提出的PER-MAD4PG算法可以使得智能体在纯合作任

务合作导航以及合作竞争的任务物理欺骗中都能获得更高的分数，同时算法的收敛速度

相较于原算法也有一定的提升，PER-MAD4PG算法具有更好的综合表现。

关键词：深度强化学习；多智能体；Q值估计；优先经验重放

多智能体深度强化学习Q值估计问题的研究

Abstract

Deepreinforcementlearningcombinestheperceptualabilityofdeeplearningwiththe

decision-makingabilityofreinforcementlearning.Usingdeepreinforcementlearningforpath

planningandgroupdecision-makinghasbecomeahotresearchdirectioninthefieldsofUAV,

AUVandotherfields.However,indeepreinforcementlearningalgorithms,thereisaclassof

algorithmsbasedonQlearning,whichmayhavetheproblemofinaccurateestimationofQ

valueswhenestimatingQvalues,resultinginthealgorithmconvergingtoalocaloptimal

strategy,causingtheagenttomakeincorrectdecisions,andslowingdowntheconvergence

speedofthealgorithm.Inthefieldofdeepreinforcementlearningforsingleagents,thereare

manystudiesonQvalueestimationrelatedissues,whichcanreduceoverestimationtomake

agentsdecisionsmoreaccurate.However,inpracticalapplicationscenarios,mostofthemare

multi-agentcollaborativework,andsingleagentdeepreinforcementlearningalgorithmsoften

cannotada