面向多智能体强化学习的分层状态抽取方法.pdfVIP

摘要

面向多智能体强化学习的分层状态抽取方法

随着智能识别与决策技术的发展，多智能体系统在军事、民用方面的应用日益

广泛，例如目标侦查、物资配送和自动控制等。近年来，针对高度动态环境下的决

策控制问题，深度强化学习技术表现出优异的性能。现有的方法往往通过将智能体

局限在特定小场景的方式简化问题，这些场景中的智能体较为独立，并且他们采取

的策略较为稳定和单一。然而，能够带来经济效益的现实场景往往更复杂：不仅环

境由多个智能体共同组成，智能体的决策之间存在相互影响；还要求智能体能够响

应环境的细微变化。针对多个智能体决策相互影响带来的策略难以优化、环境变化

频繁的问题，本文在包含复杂的协作、对抗机制的多智能体问题背景下，着重研究

基于强化学习的解决方案，进行了以下工作：

（1）为缓解策略难以优化的问题，提出一种半集中式队长结构以结合评估端

和策略端的两种共享信息方式。该结构中包含中心化队长和分散式队员两种异构智

能体，其中的中心化智能体搭载状态信息抽取结构，端到端地逐层抽取联合观察各

维度的关系，并通过共享全局信息的方式统筹队伍策略。使得各智能体在保留评估

端全局信息的同时，为策略端添加统筹信息。通过该信息保证评估准确性、降低策

略分歧，并令联合动作的实际表现更加稳定。

（2）为缓解环境变化频繁的问题，提出一种状态信息抽取结构。利用该结构

自适应地提取联合观察各个维度的重要性，并以层级化的形式获得状态的高阶表

示。通过改变该结构的层数和维度保留比例，使评估和决策效果更加稳定的同时，

降低策略端通讯信息的维度。

（3）实验结果表明：状态信息抽取结构能够在不增加任何额外信息的条件下，

提供更有效的状态表示，且在网络的评估和策略端都适用；中心化智能体结构能带

来更优的整体表现和更小的个体表现差距，一定程度上缓解了懒惰智能体问题；在

所有对比实验中，本文的方法都能获得更高的平均队伍奖励和更低的奖励方差率。

关键词：

人工智能，深度强化学习，多智能体，状态抽取，协作与对抗

I

Abstract

Multi-agentreinforcementlearningoriented

hierarchicalstateextractionmethod

Withthedevelopmentofintelligentidentificationanddecision-makingtechnology,

multi-agentsystemsareincreasinglywidelyusedinmilitaryandcivilianapplications,

suchastargetdetection,materialdelivering,andautomaticcontrol.Inrecentyears,deep

reinforcementlearningtechnologyhasshowndramaticdecisionmakingperformancein

highlydynamicenvironments.Existingmethodsoftensimplifyproblemsbyconfining

theagenttospecificsmallscenes.Theagentsinthesescenesaremoreindependent,and

thestrategiestheyadoptarerelativelystableandlackofdiversity.However,

real-worldscenariosthatcanbringeconomicbenefitsareoftenmorecomplicated:not

onlytheenvironmentiscomposedofmultipleagents,whowillinfluenceeachothers

decisions,b