多智能体对抗博弈方法及仿真技术研究.pdf

摘要

多智能体系统由一系列同构或异构的智能体构成，系统内智能体之间相互

作用，常常形成竞争或者合作关系，从而可以涌现出更高阶的复杂智能，因此

能够用于处理单个智能体难以解决的问题。近年来，从AlphaStar在星际争霸Ⅱ

天梯系统达到宗师段位，到OpenAIFive击败dota2世界冠军战队，多智能体系

统的最优控制已然成为强化学习领域的一个热门研究方向。

多智能体系统形式多样，自然界中，天空中集体飞翔的鸟群、海洋中成群

结队的鱼群以及陆地上结群捕猎的狼群，由于都涉及群体成员的相互协作而实

现更加复杂的群体智能，因此都可以看作是多智能体系统。工业界中，由多个

机械臂组成的协同组装系统、无人机编队系统同样属于多智能体系统的例子。

特别地，本文将以实战环境下的无人机协同作战系统为主要研究对象。实际对

战环境中，战场态势风云变幻，因此无人机系统的对外效能将对系统内部的通

信延迟特别敏感，此外，随着战局进行，无人机可能面临损毁风险，如果损毁

的是指挥中心无人机，整个系统将陷入瘫痪局面。因此，无人机网络拓扑设计

及通信链路质量将成为影响战局走向的关键因素。

基于以上背景，本文主要工作总结如下：方法层面上，提出一种基于分组

机制和先验知识的改进的MADDPG算法，将改进的算法与原始MADDPG模型

进行红蓝对抗，胜率达到67%，实验结果表明，改进的算法模型兼具个体决策

的速度优势与指挥中心决策的性能优势，因此与实战环境下的无人机协同作战

任务更为契合。仿真层面上，本文基于开源的星际争霸Ⅱ强化学习环境SMAC，

结合网络虚拟化技术，仿真无人机集群的网络拓扑及连接各个无人机的通信链

路，构建了一个高度还原战场网络环境的仿真平台，并在仿真实验的基础上，

对几种典型的网络拓扑模式的效能进行对比分析。此外，构建的仿真平台支持

不同算法的直接对抗博弈，同时支持简单的电子对抗功能仿真。

关键词：多智能体系统，星际争霸Ⅱ，多智能体强化学习，网络仿真

ABSTRACT

Amulti-agentsystemconsistsofaseriesofhomogeneousorheterogeneous

agents.Theagentsinthesysteminteractandoftenformcompetitionorcooperation

relationships,sothathigher-ordercomplexintelligencecanemerge,soitcanbeused

toprocessasingleagent.Problemsthataredifficultforagentstosolve.Inrecent

years,theoptimalcontrolofmulti-agentsystemshasbecomeapopularresearch

directioninthefieldofreinforcementlearning,fromAlphaStarreachingthe

GrandmasterrankintheStarCraftIIladdersystemtoOpenAIFivedefeatingthe

dota2worldchampionteam.

Therearevariousformsofmulti-agentsystems.Innature,groupsofbirdsflying

collectivelyinthesky,schooloffishintheocean,andgroupsofwolveshuntingin

groupsonlandallinvolvethemutualcooperationofgroupmemberstoachievemore

complexoperations.Swarmintelligencec