CN120287313A 一种基于多传感器数据融合的物料抓取偏移实时补偿方法及装置 （成都环龙智能机器人有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120287313A(43)申请公布日2025.07.11

(21)申请号202510779644.3

(22)申请日2025.06.12

(71)申请人成都环龙智能机器人有限公司

地址610000四川省成都市经济技术开发

区(龙泉驿区)汽车城大道668号16栋

(72)发明人熊华

(74)专利代理机构成都同尚知识产权代理有限公司51417

专利代理师易士贵

(51)Int.CI.

B25J9/16(2006.01)

GO6V20/64(2022.01)

GO6V10/82(2022.01)

权利要求书3页说明书14页附图7页

(54)发明名称

一种基于多传感器数据融合的物料抓取偏移实时补偿方法及装置

(57)摘要

CN120287313A本申请公开了一种基于多传感器数据融合的物料抓取偏移实时补偿方法及装置，涉及自动化生产技术领域，公开的基于多传感器数据融合的物料抓取偏移实时补偿方法及装置，通过融合多传感器数据构建物料空间坐标系，结合神经网络模型实时生成三维偏移量并控制机械臂补偿，解决了单一传感器定位误差大、补偿精度不足的

CN120287313A

通过视觉传感器采集物料表面的特征图像数据，以及通

过激光雷达采集物料表面的三维点云数据，并基于所述

图像数据和所述三维点云数据构建物料空间坐标系

通过力矩传感器采集所述末端执行器的力矩数据，以及通过惯性测量单元采集所述末端执行器的姿态数据

对所述物料空间坐标系、所述力矩数据以及所述姿态数据进行时空同步处理，生成对应的多源融合数据

将所述多源融合数据输入预训练的卷积神经网络模型，以输出物料中心点相对于抓取点的三维偏移量

基于所述三维偏移量生成包含横向补偿向量及角度修正矩阵的偏移补偿指令

基于所述偏移补偿指令控制所述关节模组执行相应的偏移补偿动作，以补偿物料抓取过程中发生的偏移

—S100

-S200

-S300

-S400

-S500

-S600

CN120287313A权利要求书1/3页

2

1.一种基于多传感器数据融合的物料抓取偏移实时补偿方法，其特征在于，应用于机械臂，所述机械臂包括关节模组以及与所述关节模组连接的末端执行器，所述关节模组用于调节所述末端执行器的位置，所述末端执行器用于抓取物料，所述的方法包括：

通过视觉传感器采集物料表面的特征图像数据，以及通过激光雷达采集物料表面的三维点云数据，并基于所述图像数据和所述三维点云数据构建物料空间坐标系；

通过力矩传感器采集所述末端执行器的力矩数据，以及通过惯性测量单元采集所述末端执行器的姿态数据；

对所述物料空间坐标系、所述力矩数据以及所述姿态数据进行时空同步处理，生成对应的多源融合数据；

将所述多源融合数据输入预训练的卷积神经网络模型，以输出物料中心点相对于抓取点的三维偏移量；

基于所述三维偏移量生成包含横向补偿向量及角度修正矩阵的偏移补偿指令；

基于所述偏移补偿指令控制所述关节模组执行相应的偏移补偿动作，以补偿物料抓取过程中发生的偏移。

2.如权利要求1所述的基于多传感器数据融合的物料抓取偏移实时补偿方法，其特征在于，所述基于所述图像数据和所述三维点云数据构建物料空间坐标系的步骤包括：

对所述特征图像数据进行边缘检测和特征点提取，获得物料轮廓关键点集；

将所述三维点云数据与所述特征点集进行配准，建立视觉坐标系与点云坐标系的变换

矩阵；

基于所述变换矩阵对视觉坐标系下的特征点集进行坐标转换，生成融合视觉与点云特征的三维空间坐标序列；

通过时间戳对齐方式对所述三维空间坐标序列进行动态补偿，并将补偿后的三维空间坐标序列与机械臂基坐标系进行空间映射，以物料中心点作为坐标系原点，构建物料空间坐标系。

3.如权利要求2所述的基于多传感器数据融合的物料抓取偏移实时补偿方法，其特征在于，所述对所述物料空间坐标系、所述力矩数据以及所述姿态数据进行时空同步处理，生成对应的多源融合数据的步骤包括：

采用时间戳对齐算法对物料空间坐标系、力矩数据及惯性数据进行跨模态同步；

通过空间转换矩阵将力矩数据转换至物料空间坐标系，并与姿态数据进行矢量合成；

对时空同步后的多维数据流进行滑动窗口采样，建立包含空间位置、力学状态及运动轨迹的时空关联矩阵；

采用卡尔曼滤波器对所述时空关联矩阵进行噪声抑制与状态估计，生成对应的