CN119289972A 一种基于强化学习的拒止环境协同自主感知与导航方法 （同济大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119289972A(43)申请公布日2025.01.10

(21)申请号202411254596.8

(22)申请日2024.09.09

(71)申请人同济大学

地址200092上海市杨浦区四平路1239号

(72)发明人王志鹏丁凯旋何斌周艳敏

李刚

(74)专利代理机构上海科盛知识产权代理有限

公司31225专利代理师严玉丹

(51)Int.CI.

GO1C21/16(2006.01)

GO1C21/20(2006.01)

GO1C21/00(2006.01)

G01S17/86(2020.01)

权利要求书4页说明书10页附图2页

(54)发明名称

一种基于强化学习的拒止环境协同自主感知与导航方法

(57)摘要

CN119289972A本发明涉及一种拒止环境下协同自主感知与导航方法，通过构建自组织鲁棒通信系统实现拒止环境中多无人机之间的动态组网和数据共享，采用自适应网络协议在网络拓扑变化或通信干扰下实现通信网络的自动配置；基于多传感器融合感知系统，通过数据融合算法处理环境信息和无人机自身的运动信息；单无人机基于无人机能量消耗、探索面积、路径重叠度以及路径危险程度构建奖励函数，在未知环境中执行自主感知和探索并完成建图；分布式多无人机在无人机集群中依据地图信息、各自的位置和工作状态进行个体间交流和博弈，实现任务分配，完成路径规划与动作决策。本发明提高了无人机在拒止环境

CN119289972A

基于

基于

华

的拒止环

同自

知感

导航方法

自组织

鲁棒通信系统

多传感器

融合感知系统

单无人机自主感知与建图系统

分布式多

无人机任

务规划及

导航系统

CN119289972A权利要求书1/4页

2

1.一种拒止环境下协同自主感知与导航方法，其特征在于，方法步骤包括：

构建自组织鲁棒通信系统，在拒止环境中实现多无人机之间的动态组网和数据共享，并采用自适应网络协议，在网络拓扑变化或通信干扰下实现通信网络的自动配置；

采用集成激光雷达、视觉传感器和惯性测量单元的多传感器融合感知系统，通过数据融合算法实时捕获和处理环境信息和无人机自身的运动信息；

单无人机基于所装备的传感器，通过强化学习算法，基于无人机能量消耗、探索面积、路径重叠度以及路径危险程度构建奖励函数，在未知环境中的自主感知和自主探索，并完成建图；

分布式多无人机使用强化学习算法在指定规格的无人机集群中依据地图信息、各自的位置和工作状态进行个体间交流和博弈，实现任务分配，完成路径规划与动作决策。

2.根据权利要求1所述的一种拒止环境下协同自主感知与导航方法，其特征在于，所述的自组织鲁棒通信系统将无人机视作独立的通信节点，构建无人机自组织网络：

当无人机U与其相邻的无人机U之间的信号强度为Q;满足强度阈值时，两无人机建立稳定的通信；在网络拓扑结构的边中包含对应两架无人机之间的信号强度Q;以及信号强度随时间变化的梯度G;

信号强度满足强度阈值时，两无人机节点之间形成通信强边，当信号强度Q;小于强度阈值且大于可连接强度时，两无人机之间形成通信弱边；

拓扑网络中由强边所连接的子图中的无人机相互传递当前子图的拓扑网络信息，明确各自的身份与拓扑连接关系；

各无人机根据信号强度梯度预测未来时刻拓扑网络的变化，监测与之以弱边相连的邻居节点，在通信强度发生变化时，将弱边删除或转化为强边。

3.根据权利要求2所述的一种拒止环境下协同自主感知与导航方法，其特征在于，所述的自适应网络协议，具体为：无人机感知周围的无线频谱使用情况，并根据频谱的占用情况自动调整自己的通信频率：

利用Q学习算法实现路由选择和路由建立，路由最小跳数因子J:

其中，hop.;n为广度优先搜索的最小跳数，hopm为路由允许最大跳数；

使用网络节点内数据包的排队延时评估节点负载，采用M/M/1排队模型进行建模，则网络层队列中的数据包数量的期望值为：

其中，p表示队列中数据包个数为i时的概率，λ表示节点接收数据包的速率，μ表示节点处理数据包的速率，数据包的平均排队演示为：

在每个节点处理数据包的速率μ一定的情况下，节点接收数据包的速率越大，则数据包

CN119289972A