CN114706418B 基于深度强化学习td3算法的无人机格斗自主决策方法 （中国人民解放军国防科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114706418B(45)授权公告日2025.01.10

(21)申请号202210264539.2

(22)申请日2022.03.17

(65)同一申请的已公布的文献号申请公布号CN114706418A

(43)申请公布日2022.07.05

(73)专利权人中国人民解放军国防科技大学地址410073湖南省长沙市开福区德雅路

109号

(72)发明人高显忠候中喜金泉王玉杰邓小龙

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师伍传松

(51)Int.CI.

GO5D1/46(2024.01)

(56)对比文件

WO2024016386A1,2024.01.25

金泉.无人机集群对抗自主决策与博弈.《万方学术期刊数据库》.2024,全文.

QuanJin等.AutonomousManeuver

DecisionofUAVinAirCombatBasedonScenario-TransferDeepReinforcement

Learning.《Proceedingsof2021

InternationalConferenceonAutonomous

UnmannedSystems(ICAUS2021)》.2022,全文.审查员张珊珊

权利要求书5页说明书14页附图5页

(54)发明名称

基于深度强化学习TD3算法的无人机格斗自主决策方法

(57)摘要

CN114706418B本发明公开了一种基于深度强化学习TD3算法的无人机格斗自主决策方法，该方法通过建立无人机运动模型，根据无人机运动模型，基于马尔可夫决策过程建立无人机空中格斗模型，其中，无人机空中格斗模型使用包括状态空间、动作空间、奖励函数和折扣因子的四元组表示，状态转移函数表示为无人机运动模型，根据无人机空中格斗模型，基于TD3算法训练无人机学习机动策略。本发明根据无人机空中格斗模型，基于TD3算法训练无人机学习机动策略，该TD3算法能

CN114706418B

建立无人机运动模型

建立无人机运动模型

根据无人机运动模型，基于马尔可夫决策过程建立无人机空中格斗模型，其中，无人机空中格斗模型使用包括状态空间、动作空间、奖励函数和折扣因子的四元组表示，无人机运动模型表示无人机空中格斗模型中的状态转移函数

根据无人机空中格斗模型，基于TD3算法训练无人机学习机动策略

S100

S200

S300

CN114706418B权利要求书1/5页

2

1.一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，包括步

骤：

建立无人机运动模型；所述无人机运动模型包括动力学模型和运动学模型，其中，建立无人机在惯性坐标系中的动力学模型：

其中，所述g表示重力加速度；所述v表示所述无人机的速度且所述v满足约束条件：Vmin≤v≤vmax;航迹倾角γ表示v与水平面的夹角，γ∈[-π/2,π/2];航迹偏角ψ表示v在水平面上的投影与坐标轴X轴的夹角，ψ∈[-π,π];所述n表示切向过载；所述n表示法向过载；所述μ表示滚转角；

建立所述无人机在所述惯性坐标系中的运动学模型：

其中，所述x、所述y和所述z表示所述无人机在所述惯性坐标系下的坐标；

根据所述无人机运动模型，基于马尔可夫决策过程建立无人机空中格斗模型，其中，所述无人机空中格斗模型使用包括状态空间、动作空间、奖励函数和折扣因子的四元组表示，所述无人机运动模型表示所述无人机空中格斗模型中的状态转移函数；

根据所述无人机空中格斗模型，基于TD3算法训练无人机学习机动策略，具体包括：

步骤S1、初始化两个评价器网络Q?,Q?、评价器网络的参数θ1,02、执行器网络的参数θ、目标网络参数θ2,θ22,0以及经验池；

步骤S2、预设回合数，在每个回合中执行以下步骤：

步骤S2-1、预设每个回合中所述无人机的最大限定步数；

步骤S2-2、所述无人机根据当前状态和策略选择动作，并加上随机噪声；

步骤S2-3、所述无人机执行动作，由状态转移函数获得下一状态并获得奖励；

步骤S2-4、将所述步骤S2-2和所述步骤S2-3得到的所述当前状态、所述策略选择动作、所述奖励和由状态转移函数获得的所述下一状态转移至经验池；

步骤