CN115909197B 一种基于注意力机制的多尺度融合机器人抓取检测方法 （浙江大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115909197B(45)授权公告日2025.07.11

(21)申请号202211385821.2

(22)申请日2022.11.07

(65)同一申请的已公布的文献号申请公布号CN115909197A

(43)申请公布日2023.04.04

(73)专利权人浙江大学

地址310058浙江省杭州市西湖区余杭塘

路866号

专利权人浙江钱塘机器人及智能装备研究有限公司

(72)发明人赵阳王进张海运陆国栋

(74)专利代理机构杭州求是专利事务所有限公

司33200

专利代理师万尾甜韩介梅

(51)Int.CI.

GO6V20/52(2022.01)

GO6V10/82(2022.01)

GO6V10/764(2022.01)

GO6V10/56(2022.01)

GO6V10/80(2022.01)

GO6V10/52(2022.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN114092766A,2022.02.25

US2020273192A1,2020.08.27审查员张小霞

权利要求书2页说明书6页附图3页

(54)发明名称

一种基于注意力机制的多尺度融合机器人抓取检测方法

(57)摘要

CN115909197B本发明公开了一种基于注意力机制的多尺度融合机器人抓取检测方法，通过构建抓取检测模型并对其进行训练实现；该方法突出了抓取检测的显著特征，降低了对物体抓取检测没有贡献的背景信息的影响，提高了抓取检测模型的效率。同时采用轻量化的网络设计方法，可兼顾机器人抓取实时性和准确性的要求，完成端到端的抓取检测。另外，这种在杂乱场景中专注于目标本体特征的抓取检测方式，更契合人类的感知模式，进一步推动了机器人抓取检测的智能化过程。本发明解决了经验抓取检测方法为实现泛化

CN115909197B

收集抓取数据集及数据集预处理

收集抓取数据集及数据集预处理

处理图像数据和标注参数满足网络输入格式

构建基于注意力机制的轻量抓取网络

使用公开的Cornel1抓取数据集和Jacquard抓取数据集对模型进行训练

使用公开的Corne11抓取数据集和Jacquard抓取数据集测试模型性能

使用训练好的抓取检测模型应用在实际机械臂上测试抓取效果

S1

S4

S5

S6

CN115909197B权利要求书1/2页

2

1.一种基于注意力机制的多尺度融合机器人抓取检测方法，其特征在于，包括：

构建抓取检测模型；

收集抓取数据集，其中包括RGB图像及相应的标注信息，及深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集，并对图像中所包含物体区域进行标定；

对数据集进行数据预处理，包括图像数据预处理及标注参数预处理，将扩充后的数据集按比例随机划分训练集和验证集；

利用训练集数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率；

根据训练得到的抓取检测模型，利用预处理之后的真实图像数据作为网络输入，抓取配置及抓取框五维表示作为抓取检测模型输出，最终映射到真实世界坐标；

所述抓取检测模型包括前端的特征提取器和后端的抓取预测器；其中特征提取器包括超大卷积模块、残差及多尺度模块、注意力模块依次连接；

所述抓取检测模型包括：

通道特征提取层，采用超大卷积核和深度可分离的构建方法，用于分别提取RGBD的特征，并对RGBD四通道的特征进行融合；再经过两次稀疏卷积降采样，进一步提取特征；

RBF多尺度感受层，由若干层残差模块和RBF模块构成，使用残差模块避免梯度消失问题，RBF模块利用