分层决策多机空战对抗方法.pdfVIP

中国科学:信息科学2022年第52卷第12期:2225–2238

SCIENTIASINICAInformationis

非完全信息下人机合作对抗博弈专题论文

分层决策多机空战对抗方法

1121,3*

王欢周旭邓亦敏刘小峰

1.河海大学物联网工程学院,常州213022

2.北京航空航天大学自动化科学与电气工程学院,北京100191

3.江苏省特种机器人技术高校重点实验室,常州213022

*通信作者.E-mail:xfliu@

收稿日期:2022–05–09;修回日期:2022–07–29;接受日期:2022–09–19;网络出版日期:2022–12–06

科技创新2030—“新一代人工智能”重大项目(批准号:2018AAA0100803)资助

摘要在空战研究领域,战术决策旨在提高博弈对抗收益,进而提升战机攻击效率.现有战术决策算

法大多基于规则方法设计,当应用于多机空战的复杂环境时则存在设计难度大,难以求解最优解等问

题.本文提出一种分层决策多机空战对抗方法,首先,在训练初始阶段借鉴已有人类专家经验,指导模

型训练;其次,根据战术动作类型设计分层动作决策网络,降低动作决策空间维度;最后,将训练产生

的对抗经验按阶段分解,降低策略学习难度.在多机空战仿真环境中进行了实验验证,相比于现有多

机空战决策方法,本文提出的方法在训练收敛性和决策性能方面均具有更好的表现.

关键词多机空战,动作决策网络,博弈,分层强化学习,决策收益

引言

无人机因其机动性强、成本低、可避免人员伤亡等优点,已被广泛应用于各种监测、侦查等军事

领域.近年来,在多次军事行动中,无人机都发挥了重要作用.世界各国纷纷投入大量科研力量进行无

人机空战决策技术的相关研究,如美国Psibernetix公司开发了基于人工智能的“Alpha”AI系统,该

系统基于遗传算法进行战斗决策并在模拟空战中击败了美国空军退役上校;美国国防高级研究计划局

(DefenseAdvancedResearchProjectsAgency,DARPA)开启的“进攻蜂群战术”(OFFSET)项目,通

过开发多样的无人机蜂群战术,测试无人机蜂群协同行动能力,以期在未来辅助小型地面部队在复杂

城市环境中执行任务;欧洲多国联合推动的“未来战斗航空系统”(FutureCombatAirSystem,FCAS)

项目,旨在加强人机协同作战水平;俄罗斯苏霍伊设计局研发了S-70“猎人”无人机并着手研究该

无人机与苏-57战机协同作战技术.除此之外,各国学者也在无人机空战决策方面做了大量研究,如

McGrew将动态规划方法引入1对1空战博弈决策中提升对抗效率;文献[6]中提出一种基于模糊

引用格式王欢周旭邓亦敏等分层决策多机空战对抗方法中国科学信息科学

⃝《中国科学》杂志社

王欢等:分层决策多机空战对抗方法

规则的空战机动决策方法,在策略上引导战机做出更有利的战术动作.上述方案大都基于规则方法设

计,在多机博弈对抗环境中采用上述传统方法则存在求解难度高,规则设计过于复杂等缺点.

深度强化学习技术已被逐渐应用于空战决策领域.深度强化学习方法作为机器学习的方法之一,

具有适应性强、自主学习、不需要过高专业背景知识的特点.本文提出分层决策多机空战对抗方法,该

方法针对多机空战场景采用分层动作决策网络降低决策动作空间维度;引入经验分解变换机制对复杂

任务经验进行分解变换同时结合专家经验指导,