基于图神经网络的无人飞行器突防策略强化学习方法.pdf

华中科技大学硕士学位论文

摘要

隐身突防作为一种军事作战中广泛采用的战术，核心是通过隐身技术躲避敌方

探测，以成功完成既定任务。在空战中，隐身突防航迹规划是实现该战术的有效手段

之一。与传统的航迹规划不同，隐身突防航迹规划不仅考虑无人飞行器所处空间位置

对被探测概率的影响，同时考虑飞行器姿态对雷达散射截面积的影响。作为航迹规划

的深层次问题，隐身突防航迹规划可以通过改进传统航迹规划算法进行求解。然而传

统算法规划策略往往是固定的，无法通过学习总结历史经验适应新出现的场景。针对

这一问题，本文提出了一种基于图神经网络的突防航迹规划策略强化学习方法，并基

于策略网络引导蒙特卡洛树搜索算法规划突防航迹。本文从以下几个方面展开研究：

（1）建立无人飞行器隐身突防航迹规划问题模型，分析无人飞行器的运动学模

型并给出基本航迹约束；分析典型的禁飞和威胁等环境模型，构建环境约束；针对探

测、防御系统的工作原理制定突防约束。

（2）结构化的图可以很好地表达环境信息和飞行器自身的状态信息，同时，环

境中各要素节点之间的关系及其与飞行器之间的关系都可以用节点之间的边来表达。

因此本文研究了飞行器、环境和目标的图结构表达方法，并结合图神经网络和“行动

器-评判器”方法设计突防策略价值网络。仿真实验表明，基于图神经网络的突防策

略价值网络相比基于卷积神经网络的突防策略价值网络具有更好的泛化能力。

（3）针对突防航迹规划策略提升和突防航迹规划问题，基于突防策略价值网络

引导蒙特卡洛树搜索算法规划突防航迹，同时将规划的突防航迹作为样本数据用于

→→

策略价值网络训练，从而形成“策略提升样本生成策略提升”的强化学习过程。

在设计回报函数时，针对隐身突防航迹规划问题中可行解较少导致奖励稀疏的问题，

采用回报成型技术，引入启发代价对回报函数进行修正从而提高策略学习的效率；由

于隐身突防航迹规划需要同时考虑位置和姿态是一个超三维规划问题，为了降低规

划空间复杂度以方便策略学习，本文将无人飞行器的航迹规划拆分为水平面航迹规

划和垂直面航迹规划两个步骤实现，通过水平面航迹规划规划可突防且高效的航迹，

I

华中科技大学硕士学位论文

垂直面航迹规划在其基础上进一步缩短高探测概率时间，提高突防能力。实验表明，

隐身突防策略价值网络在想定的仿真战场环境中学习，在未参与学习的想定环境中

具有良好的泛化能力；与改进的传统算法相比，本文的隐身突防航迹规划策略可以在

保证规划效果的前提下，大幅提高规划速度。

关键词：航迹规划；动态RCS特性；强化学习；图神经网络

II

华中科技大学硕士学位论文

Abstract

Asawidelyusedtacticinmilitaryoperations,stealthpenetrationaimstocompletethe

missionbyevadingenemydetectionthroughstealthtechnology.Inaircombat,stealth

penetrationtrajectoryplanningisaneffectivemeansofachievingthistactic.Unlike

traditionaltrajectoryplanning,stealthpenetrationtrajectoryplanningnotonlyconsidersthe

impactoftheunmannedaerialvehiclesspatialpositionontheprobabilityofdetectionbut

alsotheimpactoftheaircraftsattitudeontheradarcross-section.Asadeep-le