面向参数化动作空间的多智能体中心化策略梯度分解及其应用.pdfVIP

软件学报

ISSN

1000-9825,

CODEN

RUXUEWE-mail:

jos@

2025,36(2):590−607

[doi:

10.13328/ki.jos.007150]

[CSTR:

32375.14.jos.007150]

©中国科学院软件研究所版权所有.Tel:

+86-10

面向参数化动作空间的多智能体中心化策略梯度分解及其

*

应用

12213

田树聪,

谢

愈,

张远龙,

周正春,

高

阳

1(西南交通大学

信息科学与技术学院,

四川

成都

611756)

2(国防科技大学

智能科学学院,

湖南

长沙

410073)

3(计算机软件新技术国家重点实验室(南京大学),

江苏

南京

210023)

通信作者:

谢愈,

E-mail:

xieyu@

摘要:

近年来,

多智能体强化学习方法凭借AlphaStar、AlphaDogFight、AlphaMosaic等成功案例展示出卓越的

决策能力以及广泛的应用前景.

在真实环境的多智能体决策系统中,

其任务的决策空间往往是同时具有离散型动

作变量和连续型动作变量的参数化动作空间.

这类动作空间的复杂性结构使得传统单一针对离散型或连续型的多

智能体强化学习算法不在适用,

因此研究能用于参数化动作空间的多智能体强化学习算法具有重要的现实意义.

提出一种面向参数化动作空间的多智能体中心化策略梯度分解算法,

利用中心化策略梯度分解算法保证多智能体

的有效协同,

结合参数化深度确定性策略梯度算法中双头策略输出实现对参数化动作空间的有效耦合.

通过在

Hybrid

Predator-Prey场景中不同参数设置下的实验结果表明该算法在经典的多智能体参数化动作空间协作任务

上具有良好的性能.

此外,

在多巡航导弹协同突防场景中进行算法效能验证,

实验结果表明该算法在多巡航导弹突

防这类具有高动态、行为复杂化的协同任务中有效性和可行性.

关键词:

参数化动作空间;

多智能体强化学习;

中心化策略梯度分解;

多巡航导弹突防

中图法分类号:

TP18

中文引用格式:

田树聪,

谢愈,

张远龙,

周正春,

高阳.

面向参数化动作空间的多智能体中心化策略梯度分解及其应用.

软件学报,

2025,

36(2):

590–607.

/1000-9825/7150.htm

英文引用格式:

Tian

SC,

Xie

Y,

Zhang

YL,

Zhou

ZC,

Gao

Y.

Factored

Multi-agent

Centralised

Policy

Gradient

with

Parameterized

Action

Space

and

Its

Application.

Ruan

Jian

Xue

Bao/Journal

of

Software,

2025,

36(2):

590–607

(in

Chinese).

/

1000-9825/7150.htm

FactoredMulti-agentCentralisedPolicyGradientwithParameterizedActionSpaceand

ItsApplication

12213

TIAN

Shu-Cong,

XIE

Yu,

ZHANG

Yuan-Long,

ZHOU

Zheng-Chun,

GAO

Yang

1(School

of

Information

Science

and

Technology,

Southwest

Jiaotong

University,

Chengdu

611756,

China)

2(College

of

Intelligence

Science

and

Technolo