基于强化学习的无人机通信系统路径规划.pdfVIP

摘要

近年来，随着5G通信系统的广泛应用，通信技术经历了巨大的变革。5G

的高速、低时延和大连接等特点，使移动通信网络的“万物互联”逐渐成为现

实。面对日益增长的通信需求量以及各种特殊的场景，无人机成为了重要的通

信辅助工具，并且因其高机动性、低成本、易部署等优势备受青睐。因此，研

究无人机如何利用其高机动性，在不同通信场景合理规划飞行轨迹，以提升通

信系统的通信质量具有重要的意义。本文基于此，对无人机在无线传感器网络

（WirelessSensorNetworks,WSN）中进行数据采集和在多用户的动态场景中作

为移动基站两个场景展开研究。本文的研究工作和创新点如下：

（1）在WSN中，利用无人机作为辅助数据采集工具可以减少传感器节点

之间的多跳传输，从而避免了因其引起的数据损失和能量消耗的问题。在这一

背景下，本文和以往研究不同，考虑到三维空间WSN的实际场景，使用传感器

数据采集模型来评估系统的数据损失量，并建立了最小化数据损失量的优化问

题。针对WSN的高时效性要求，本文通过将其建模成马尔科夫决策过程，提出

了一种基于深度强化学习的路径规划算法。通过实验验证了模型规划路径的合

理性，并讨论了算法的收敛性，研究了算法超参数对结果的影响。同时本文将

提出的算法与三种基线算法进行了对比分析，探究了算法的性能、泛化性以及

时间复杂度，证明了算法在该场景中的性能优势。

（2）在用户动态移动的场景中，无人机常被用作移动基站来辅助通信。和

以往研究不同的是，本文考虑到了用户移动模式的可预测性，使用社会性轨迹

预测算法(SocialLstm,SL)学习用户的移动行为特征，构建能够预测用户未来位

置信息的神经网络，并讨论了该算法的性能和泛化性。利用SL网络改进了强化

学习中的actor网络和critic网络，得到一种适应于动态环境的强化学习算法。

实验结果表明，本文提出的算法能根据用户的移动模式规划出合理的飞行轨迹。

我们进一步探究了该算法的收敛性，发现由于预测信息的引入，相较于其他算

法能够更快速地收敛。相较于基线算法，本文提出的算法在低训练成本下能够

规划出兼顾吞吐量与通信公平性的轨迹。在对于动态环境的适应性方面，本文

提出的算法能有效提升与移动用户的吞吐量，并对不同的用户数量和移动模式

表现出适应性。

关键词：无人机；路径规划；强化学习；数据采集；吞吐量

Keywords:UnmannedAerialVehicle;pathplanning;reinforcementlearning;data

collection;throughput

目录

摘要I

ABSTRACTII

第1章绪论1

1.1引言1

1.2课题研究背景及意义1

1.3国内外研究现状4

1.3.1无人机数据采集相关研究4

1.3.2无人机基站部署相关研究6

1.4本文的主要研究内容8

第2章无人机辅助通信系统相关技术10

2.1引言10

2.2无人机通信系统10

2.2.1无人机通信系统结构10

2.2.2无人机通信系统的信道模型11

2.3强化学习理论12

2.3.1马尔科夫决策过程13

2.3.2基于值和基于策略的强化学习14

2.3.3深度强化学习14

2.4本章小结15

第3章基于强化学习的无人机数据采集路径规划16

3.1引言16

3.2系统模型16

3.2.1无人机任务模型17

3.2.2通信模型18

3.2.3无人机移动模型19

3.2.4无线传感器网络模型20

3.2.5问题建模21

3.3基于DDPG的路径规划算法22

3.3.1马尔科夫决策过程22

3.3.2DDPG算法22

3.3.3基于DDP