CN120233791A 一种基于深度强化学习的战斗机底层飞行控制方法 （南栖仙策(南京)高新技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120233791A(43)申请公布日2025.07.01

(21)申请号202411807483.6

(22)申请日2024.12.10

(71)申请人南栖仙策(南京)高新技术有限公司地址210035江苏省南京市江宁区麒麟科

技创新园天骄路100号江苏南京侨梦苑A栋703室

(72)发明人叶家成

(74)专利代理机构南京众联专利代理有限公司

32206

专利代理师杜静静

(51)Int.CI.

G05DGO5DG05DG05D

1/644(2024.01)

1/648(2024.01)101/15(2024.01)

109/20(2024.01)

G05D1/495(2024.01)

G05D1/46(2024.01)

G05D1/65(2024.01)

GO5D1/633(2024.01)

权利要求书4页说明书10页附图2页

(54)发明名称

开始设计飞控的目标更新方式和终止条件函数

开始

设计飞控的目标更新方式和终止条件函数

根据仿真场景构建战斗机控制的状态空间、动作空间和奖励函数

搭建PPO算法模型，对其中神经网络结构与参数进行设计

训练基于PPO算法的战斗机底层飞行控制模型

结束

(57)摘要

CN120233791A本发明涉及一种基于深度强化学习的战斗机底层飞行控制方法，所述方法包括以下步骤：S1、根据仿真环境设计飞控的目标更新方式和终止条件函数；S2、根据仿真环境构建战斗机控制的状态空间、动作空间和奖励函数；S3、基于PP0 算法搭建深度神经网络模型；S4、训练基于PPO算法的战斗机底层飞行控制模型。本发明的控制方法使智能体可以在完成对战、追踪等高层任务决策时，只需专注于高级任务规划，从而减少对底

CN120233791A

CN120233791A权利要求书1/4页

2

1.一种基于深度强化学习的战斗机底层飞行控制方法，其特征在于，所述方法包括以下步骤：

S1、根据仿真环境设计飞控的目标更新方式和终止条件函数；

S2、根据仿真环境构建战斗机控制的状态空间、动作空间和奖励函数；

S3、基于PPO算法搭建深度神经网络模型；

S4、训练基于PPO算法的战斗机底层飞行控制模型。

2.根据权利要求1所述的基于深度强化学习的战斗机底层飞行控制方法，其特征在于，在步骤S1中，根据仿真环境设计飞控的目标更新方式和终止条件函数，具体步骤如下：

S11、定义机体坐标系的原点为飞行器质心处，搭建战斗机航迹运动的运动学方程和动力学方程：

其中，X、Y、?为飞行器在地面坐标系下的位置，u、D、w为飞行器空速在机体坐标系上的速度分量，θ、4、φ为飞行器的俯仰角、偏航角、滚转角，

其中，u、、w为飞行器在机体坐标系上的分量，p、q、r为飞行器的滚转角速度、俯仰

角速度、偏航角速度，F、F,、F?为合力在机体坐标系上的分量，g为重力加速度，m为飞行器质

量，

S12、设计飞控训练的目标更新方式，

具体步骤如下：

(1)将飞行目标相关的状态标志变量重置，并随机生成一个三维偏差向量，用于速度、俯仰角和偏航角，每个分量的范围为[-1,1],

(2)接收当前战斗机对应的状态信息，将其存储在当前状态向量中，对生成的偏差向量进行解码，转换为实际目标变化范围，

(3)将解码后的偏差值与当前状态值相加，以生成新的目标状态，并对目标值上下限约束，确保设定的目标值在可控范围内，

(4)计算新设定目标状态与当前状态之间的差值，以得到偏差状态，最终会作为状态空间的一部分，

S13、设计飞控训练的终止条件函数，

具体如下：

CN120233791A权利要求书2/4页

3

(1)达成条件检查：依据当前状态与目标的差值，判断是否达成设定的速度和角度目标，将当前状态与目标状态的差值与阈值进行比较，若差值小于目标阈值，则标记该目标为达成，若所有速度和角度目标均达成，则将该单元标记为“全部达成”状态，

(2)达成标记与记录：依据每个单元的达成状态，更新内部的标记变