CN120276462A 一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法、系统、设备及介质 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120276462A(43)申请公布日2025.07.08

(21)申请号202510419204.7

(22)申请日2025.04.03

(71)申请人西安电子科技大学

地址710071陕西省西安市雁塔区太白南

路2号

G05D109/20(2024.01)

(72)发明人师佳琦周绥平满心文李晨阳郭峰

(74)专利代理机构西安智大知识产权代理事务

所61215专利代理师任芳

(51)Int.CI.

GO5DGO5D

GO5DGO5D

1/46(2024.01)

1/65(2024.01)

1/633(2024.01)

1/644(2024.01)

权利要求书9页说明书27页附图6页

(54)发明名称

一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法、系统、设备及介质

(57)摘要

CN120276462A一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法、系统、设备及介质，所述方法包括：构建多种静态多障碍物与动态多障碍物仿真环境；构建无人机的动力学模型；构建自适应非线性模型预测控制(ANMPC)算法；构建无人机对自适应非线性模型预测控制算法生成的参考轨迹的跟踪性能的奖励函数；构建基于深度强化学习与自适应非线性模型预测控制算法的网络框架；设置网络参数；训练网络框架，选出最优权重文件；输出测试结果；所述系统、设备及介质用于实现所述无人机轨迹规划与跟踪方法；本发明能够有效应对目标和环境的变化，在面对动态障碍物和风噪声干扰

CN120276462A

CN120276462A权利要求书1/9页

2

1.一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法，其特征在于，包括以下步骤：

步骤一：构建多种静态多障碍物与动态多障碍物仿真环境；

步骤二：构建无人机的动力学模型，包括其运动方程、姿态控制模型和外部扰动建模；

步骤三：构建自适应非线性模型预测控制(ANMPC)算法；

步骤四：构建无人机对自适应非线性模型预测控制算法生成的参考轨迹的跟踪性能的奖励函数；

步骤五：基于步骤三构建的自适应非线性模型预测控制(ANMPC)算法，构建基于深度强化学习与自适应非线性模型预测控制算法的网络框架；

步骤六：设置网络参数；

步骤七：根据步骤六设置的网络参数，将步骤四构建的奖励函数输入至步骤五构建的基于深度强化学习与自适应非线性模型预测控制算法的网络框架；将步骤二构建的无人机的动力学模型作为控制对象，在步骤一构建的多种静态多障碍物与动态多障碍物仿真环境中进行训练，每轮训练结束后，输出训练权重文件；通过与本次训练之前的所有训练轮次中生成的训练结果进行对比，选取奖励值最高且飞行路径长度最短的训练结果对应的权重文件作为最优权重文件；

步骤八：将步骤七得到的最优权重文件和应用于步骤五构建的基于深度强化学习与自适应非线性模型预测控制的算法网络框架后的无人机的动力学模型输入到步骤一构建的多种静态多障碍物与动态多障碍物仿真环境中进行测试，得到无人机飞行轨迹图、奖励值

r、飞行路径长度L、路径最大扭曲度LS、路径全局扭曲度GS、是否发生碰撞和威胁指数结果。

2.根据权利要求1所述的一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法，其特征在于，所述步骤一的实现方法包括：

步骤101:设置多种静态多障碍物环境：设置球体中心位置(X,Y,Z)、半径R与球体数量nsphere;圆柱体的底部圆的圆心位置(X?,Y,Z)、半径R、高度H与圆柱体数量ncylinder;圆锥体的底部圆的圆心位置(X?,Y?,Z)、半径R、高H与圆锥体数量ncone;

步骤102:设置多种动态多障碍物环境：设置球体中心位置(X,Y?,Z)、半径R、球体运动轨迹r(t)、移动速度v与球体数量nsphere°

3.根据权利要求1所述的一种基于深度强化学习与自适应非线性模型预测控制的无人机轨迹规划与跟踪方法，其特征在于，所述步骤二的具体实现方法为：

基于牛顿欧拉法，对无人机的动力学特性进行分析，建立无人机的动力学模型；

定义地理坐标系0(X,Y,Z)与无人机机体坐标系0g(XB,Y,ZB),无人机在地理坐标系0中的位置向量定义为ζ:

(1)

无人机的速度向量v定义为：

C