CN119295883A 一种基于多模态感知融合的自主机器人决策系统及其方法 （龙岩丽泰信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119295883A(43)申请公布日2025.01.10

(21)申请号202411820487.8

(22)申请日2024.12.11

GO6N3/0464(2023.01)

(71)申请人龙岩丽泰信息技术有限公司

地址364012福建省龙岩市新罗区东肖镇

东华社区东肖镇龙工路6号1号楼413

室

(72)发明人陈梅梅余榕榕

(51)Int.CI.

GO6V10/80(2022.01)

GO6V10/20(2022.01)

GO6V10/40(2022.01)

GO6V20/56(2022.01)

GO6V10/774(2022.01)

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6N3/042(2023.01)权利要求书2页说明书18页附图8页

(54)发明名称

一种基于多模态感知融合的自主机器人决策系统及其方法

(57)摘要

CN119295883A本发明涉及自主机器人决策系统技术领域，更具体地说，涉及一种基于多模态感知融合的自主机器人决策系统及其方法，包括：多模态数据采集模块，用于获得环境的多模态感知数据；数据预处理模块，与多模态数据采集模块相连，用于对多模态感知数据进行预处理；特征提取模块，与数据预处理模块相连，用于从预处理后的多模态感知数据中提取特征；动态时空图构建模块，与特征提取模块相连，用于基于特征构建动态时空图；多模态数据融合模块，与动态时空图构建模块相连，用于对动态时空图中的多模态数据进行融合；通过自适应时间对齐和跨模态空间

CN119295883A

起始

起始

多模态数据采集模块1

数据预处理模块2

特征提取模块3

动态时空图构建模块4

多模态数据融合模块5

环境理解与状态估计模块6

决策规划模块7

控制执行模块8

在线学习与适应模块9

CN119295883A权利要求书1/2页

2

1.一种基于多模态感知融合的自主机器人决策系统，其特征在于，包括：多模态数据采集模块，用于获得环境的多模态感知数据；数据预处理模块，与所述多模态数据采集模块相连，用于对所述多模态感知数据进行预处理；特征提取模块，与所述数据预处理模块相连，用于从预处理后的多模态感知数据中提取特征；动态时空图构建模块，与所述特征提取模块相连，用于基于所述特征构建动态时空图；多模态数据融合模块，与所述动态时空图构建模块相连，用于对所述动态时空图中的多模态数据进行融合；环境理解与状态估计模块，与所述多模态数据融合模块相连，用于基于融合后的数据进行环境理解和机器人状态估计；决策规划模块，与所述环境理解与状态估计模块相连，用于基于环境理解和状态估计结果进行决策和路径规划；控制执行模块，与所述决策规划模块相连，用于执行所述决策规划模块的规划结果；以及在线学习与适应模块，与所述控制执行模块相连，用于基于系统运行数据对各模块进行在线优化，所述多模态数据融合模块包括：自适应时间对齐单元，用于对不同模态的数据进行时间对齐；跨模态空间注意力单元，用于捕捉不同模态特征间的空间依赖关系；时序图卷积单元，用于建模特征的时序演化；以及动态特征聚合单元，用于自适应融合多模态信息。

2.根据权利要求1所述的系统，其特征在于，所述多模态数据采集模块包括：视觉相机，用于获得RGB图像数据；深度相机，用于获得深度图数据；

激光雷达，用于获得3D点云数据；惯性测量单元IMU,用于获得加速度和角速度数据；全球定位系统GPS接收器，用于获得位置数据；以及声学传感器，用于获得声音数据。

3.根据权利要求1所述的系统，其特征在于，所述数据预处理模块包括：

图像预处理单元，用于对图像数据进行去噪、畸变校正和颜色平衡；点云预处理单元，用于对点云数据进行降采样、地面分割和离群点去除；IMU数据预处理单元，用于对IMU数据进