基于分层强化学习的翼伞轨迹跟踪控制.pdfVIP

目录

目录I

摘要I

AbstractI

1.绪论1

1.1研究背景1

1.2相关工作和研究现状2

1.2.1翼伞气动力学与控制策略2

1.2.2深度强化学习3

1.2.3深度分层强化学习6

1.3本文主要研究内容8

2.分层强化学习与翼伞航迹跟踪仿真环境10

2.1深度强化学习10

2.2分层强化学习11

2.2.1子模块切换与混合12

2.2.2基于option的分层强化学习12

2.3翼伞航迹跟踪仿真环境13

3.基于分层强化学习的翼伞航迹跟踪控制15

3.1概述15

3.2风向级别划分及风向子控制器15

3.2.1马尔可夫决策过程15

3.2.2风向级别与预设航迹的分类17

3.2.3网络结构18

3.2.4顺、逆、侧风子控制模型训练19

3.3子模块切换控制模型21

3.4子模块集成控制模型22

3.5基于option框架的分层强化学习控制模型24

4.实验结果与分析27

4.1实验基本设置27

4.1.1预设航迹数据集参数27

4.1.2强化学习训练参数28

4.1.3评价指标29

4.2风向子控制模型性能分析29

4.3不同分层控制器性能分析30

4.4消融分析31

4.4.1训练参数对控制器性能的影响31

4.4.2子模块切换模型输出动作时间对控制器性能的影响

32

5.总结和展望34

参考文献35

致谢38

贵州师范大学学位论文原创性声明39

贵州师范大学学位论文使用授权书39

摘要

无动力翼伞是一种依靠气流进行飞行的飞行装备，通过操作下拉

左右后缘以实现转向。由于受外界环境干扰明显，精确稳定的实现翼

伞系统的轨迹跟踪非常困难。强化学习旨在通过与环境的交互来学习

如何做出最优决策。其中，分层强化学习作为其衍生方法之一，通过

将复杂任务分解成若干简单子任务并构建层次化的决策过程来简化

学习问题，每一层的策略都有具体的目标，这些目标共同作用于解决

整体问题。分层强化学习模仿了人类解决复杂问题的方式，也因此提

供了一种潜在的有效途径，以在复杂环境条件下精确和稳定地控制无

动力翼伞飞行。

本文探索分层强化学习在翼伞航迹跟踪控制任务中的应用，基于

分层强化学习算法在9-DOF翼伞仿真环境中训练航迹跟踪控制器，

以实现翼伞对目标航迹的精准跟踪。为适应不同风向条件下的航迹跟

踪要求，首先，通过控制训练轨迹（根据风方向与飞行方向的夹角将

轨迹划分为顺风，侧风和逆风三个类别），利用强化学习PPO算法训

练出三个航迹跟踪子控制模型；然后，固定底层子控制模型，基于PPO

算法训练子模型切换和子模型集成上层控制模型，实现分层强化学习

控制；最后，基于传统的option分层强化学习算法框架，设计优化策

略终止函数，进一步提高了航迹跟踪子模型切换的灵活性。

仿真实验结果显示，在三种风向条件下，所提出的强化学习翼伞

航迹跟踪子控制模型都具有超越通用控制模型的性能；所提出的强化

学习分层控制模型能够高效地适应风向变化，在仿真任务中实现了精

确和稳定的翼伞航迹跟踪；采用分层强化学习框架和优化策略终止函

数进一步提升了模型的灵活性和鲁棒性，使其能够更好地应对复杂的

环境条件。

关键词：强化学习；分层强化学习；航迹跟踪控制；

Abstract

Anunpoweredparafoilisaflyingdevicethatreliesonairflowtofly.

Theleftandrighttrailingedgesarepulleddowntoa