CN119295883A 一种基于多模态感知融合的自主机器人决策系统及其方法 （龙岩丽泰信息技术有限公司）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119295883A

(43)申请公布日2025.01.10

(21)申请号202411820487.8G06N3/0464(2023.01)

(22)申请日2024.12.11

(71)申请人龙岩丽泰信息技术有限公司

地址364012福建省龙岩市新罗区东肖镇

东华社区东肖镇龙工路6号1号楼413

室

(72)发明人陈梅梅余榕榕

(51)Int.Cl.

G06V10/80(2022.01)

G06V10/20(2022.01)

G06V10/40(2022.01)

G06V20/56(2022.01)

G06V10/774(2022.01)

G06V10/764(2022.01)

G06V10/82(2022.01)

G06N3/042(2023.01)权利要求书2页说明书18页附图8页

(54)发明名称

一种基于多模态感知融合的自主机器人决

策系统及其方法

(57)摘要

本发明涉及自主机器人决策系统技术领域，

更具体地说，涉及一种基于多模态感知融合的自

主机器人决策系统及其方法，包括：多模态数据

采集模块，用于获得环境的多模态感知数据；数

据预处理模块，与多模态数据采集模块相连，用

于对多模态感知数据进行预处理；特征提取模

块，与数据预处理模块相连，用于从预处理后的

多模态感知数据中提取特征；动态时空图构建模

块，与特征提取模块相连，用于基于特征构建动

态时空图；多模态数据融合模块，与动态时空图

构建模块相连，用于对动态时空图中的多模态数

A据进行融合；通过自适应时间对齐和跨模态空间

3注意力机制，系统能够有效处理不同传感器数据

8

8

5的时空不一致性，实现厘米级的定位精度。

9

2

9

1

1

N

C

CN119295883A权利要求书1/2页

1.一种基于多模态感知融合的自主机器人决策系统，其特征在于，包括：多模态数据采

集模块，用于获得环境的多模态感知数据；数据预处理模块，与所述多模态数据采集模块相

连，用于对所述多模态感知数据进行预处理；特征提取模块，与所述数据预处理模块相连，

用于从预处理后的多模态感知数据中提取特征；动态时空图构建模块，与所述特征提取模

块相连，用于基于所述特征构建动态时空图；多模态数据融合模块，与所述动态时空图构建

模块相连，用于对所述动态时空图中的多模态数据进行融合；环境理解与状态估计模块，与

所述多模态数据融合模块相连，用于基于融合后的数据进行环境理解和机器人状态估计；

决策规划模块，与所述环境理解与状态估计模块相连，用于基于环境理解和状态估计结果

进行决策和路径规划；控制执行模块，与所述决策规划模块相连，用于执行所述决策规划模

块的规划结果；以及在线学习与适应模块，与所述控制执行模块相连，用于基于系统运行数

据对各模块进行在线优化，所述多模态数据融合模块包括：自适应时间对齐单元，用于对不

同模态的数据进行时间对齐；跨模态空间注意力单元，用于捕捉不同模态特征间的空间依

赖关系；时序图卷积单元，用于建模特征的时序演化；以及动态特征聚合单元，用于自适应

融合多模态信息。

2.根据权利要求1所述的系统，其特征在于，所述多模态数据采集模块包括：视觉相机，

用于获得RGB图像数据；深度相机，用于获得深度图数据；

激光雷达，用于获得3D点云数据；惯性测量单元IMU，用于获得加速度和角速度数据；全

球定位系统GPS接收器，用于获得位置数据；以及声学传感器，用于获得声音数据。

3.根据权利要求1所述的系统，其