工程化超越在 MARL 中的新兴通信以实现可扩展且样本高效的协同任务分配部分可观测网格中.pdfVIP

工程化超越在MARL中的新兴通信以实现可扩展且

样本高效的协同任务分配部分可观测网格中

BrennenA.HillMantKohEnWei

DepartmentofComputerScienceDepartmentofComputerScience

UniversityofWisconsin-MadisonNationalUniversityofSingapore

Madison,WI53706Singapore119077

bahill4@e0958776@

ThangavelJishnuanandh

本DepartmentofComputerScience

译NationalUniversityofSingapore

中Singapore119077

jishnuanandh@

1

v

2

1Abstract

9

2

0.我们将学习到的与工程化的通信策略在合作多智能体强化学习（MARL）环

8境中的有效性进行了比较。对于学习方法，我们介绍了直接通信（LDC），其

0

5中代理通过神经网络同时生成消息和动作。我们的工程化方法——意图通

2信，则采用了一个想象轨迹生成模块（ITGM）和一个消息生成网络（MGN）

:

v来根据预测的未来状态制定消息。这两种策略都在完全可观察和部分可观

i

x察条件下的合作任务中进行了成功率评估。研究结果表明，虽然自生通信是

r可行的，但工程化方法在性能和扩展性方面表现出更优效果，尤其是在环境

a

复杂度增加时尤为明显。

1介绍

1.1动机与理由

现实世界中的任务，从群机器人技术到分布式决策制定，都要求多个代理在部分可观察性和

相互干扰的情况下进行协调[Vincent,2024,Anglen,2024]。在这种情况下，环境变得非平稳

因为每个代理的动作改变了其他代理所观察到的动力学，违反了经典单代理方法如Q学习

或DQN的核心假设[Kefanetal.,2024]。

允许智能体共享信息是一个有前景的解决方法。虽然先前的研究已经证明交流可以提升整体

表现，但不同交流方案的相对有效性仍然是一个开放问题[Mingetal.,2024]。因此我们探讨

两个主要问题：(i)有效的交流协议是否可以通过学习而无需显式设计出现，以及（二）工程

化交流策略是否提供更优的表现？

Preprint.Underreview.

1.2问题定义

我们考虑一个在网格环境中具有两个自主代理的合作场景，任务是导航至两个不同的目标状

态。最优结果要求每个代理占据一个独特的目标位置。代理可以独立行动或通过沟通共享有

关其观察或意图的信息，从而避免冲突，例如两个代理都瞄准同一个目标。

2方法论

2.1实验设置与环境

2.1.1环境

为了分离通信策略的影响，我们使用了一个简单