CN115866574B 一种面向灾区救援的多无人机飞行搜救轨迹优化方法 （贵州大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115866574B(45)授权公告日2025.07.11

(21)申请号202211454058.4

(22)申请日2022.11.21

(65)同一申请的已公布的文献号申请公布号CN115866574A

(43)申请公布日2023.03.28

(73)专利权人贵州大学

地址550025贵州省贵阳市花溪区

(72)发明人邹赛关月高鸿峰喻海生

(74)专利代理机构北京东方盛凡知识产权代理有限公司11562

专利代理师张鸾

(51)Int.CI.

HO4W4/90(2018.01)

H04B7/185(2006.01)

HO4W16/16(2009.01)

H04W16/18(2009.01)

H04B17/382(2015.01)

(56)对比文件

CN111263332A,2020.06.09CN113364495A,2021.09.07审查员蒲玲

权利要求书2页说明书7页附图2页

(54)发明名称

一种面向灾区救援的多无人机飞行搜救轨迹优化方法

(57)摘要

CN115866574B本发明公开了一种面向灾区救援的多无人机飞行搜救轨迹优化方法，包括：采用配备射频(RF)通信模块和自由空间光(FSO)通信模块的无人机作为中继节点，连接远程基站。考虑RF/FSO通信频谱资源管理和无人机数量最小化，通过增强K-means算法和扩展多模态深度强化学习算法，提出了一种用于灾区应急通信的多无人机协同轨迹优化方法。同时基于多模态深度强化学习，根据移动用户的位置和运动轨迹，训练无人机协同工作。本发明通过多模态深度强化学习算法提高了RF/FSO通信频谱资源的利用率，同时最大限度地提高了同总链路吞吐量，与其他方法对比，本发明还提高了RF分配效率和FSO通信回传的比特

CN115866574B

CN115866574B权利要求书1/2页

2

1.一种面向灾区救援的多无人机飞行搜救轨迹优化方法，其特征在于，包括以下步骤：

构建无人机用户通信模型、用户移动模型、无人机基站通信模型；

通过所述无人机用户通信模型获得无人机与用户之间的平均路径损失；

通过所述用户移动模型获得用户的移动速度与移动方向；

通过所述无人机基站通信模型获得不同可见度下无人机与基站的回程速率；

基于平均路径损失、用户的移动速度与移动方向、无人机与基站的回程速率构建分布式部分可观察马尔可夫四元组；

基于分布式部分可观察马尔可夫四元组，引入并增强k-means算法，并通过扩展多模态深度强化学习方法，实现无人机飞行轨迹的动态优化；

所述用户移动模型包括：采用麦克斯韦-玻尔兹曼分布模拟获得用户运动速度，采用高斯分布模拟获得用户运动方向；

基于无人机的传输功率、所述平均路径损失、加性高斯白噪声功率计算无人机与用户之间通信的信号与噪声加干扰比；

所述分布式部分可观察马尔可夫四元组包括观察数据、状态空间、动作空间、奖励函数；所述观察数据包括无人机自身位置和速度、地面用户的位置和速度及地面基站的位置信息；所述状态空间基于地面基站的位置、无人机动态速度及用户的动态速度；所述动作空间为委任及保持固定高度，沿前后和左右飞行不同个数的单位长度，构成连续的动作空间；所述奖励函数基于最大化连接用户数量和全局流量吞吐量；

奖励函数rau(t)的表达式如下：

其中，mu代表的是断联的用户数，由公式⑨mu=Nmu-ZiNmu,i计算得出，Nuav是无人机数量，Nmu是总用户数，Nmu,j是连接无人机j的N个用户；X,ψ代表折扣因子，X是固定的，而ψ随着用户数量进行变化，Iij为所述信号与噪声加干扰比，R为所述回程速率；

无人机飞行轨迹的动态优化过程包括：基于所述增强k-means算法初始化无人机位置；利用中性化训练价值网络将所述分布式部分可观察马尔可夫四元组转化为马尔科夫过程，所述奖励函数转化为全局累计奖励；基于任务目标，采用策略梯度算法构建策略，所述策略由神经网络拟合，获得策略网络，将转化后的奖励函数的最大化作为目标函数，引入重要性采样方法，并通过KL散度对所述目标函数进行裁剪和限制，通过初始化后的无人机与环境实时交互获得新的数据，基于不断更新的目标函数，对策略网络进行更新，实现无人机