CN114140418B 基于rgb图像和深度图像的七自由度抓取姿势检测方法 （上海交通大学宁波人工智能研究院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114140418B(45)授权公告日2025.07.11

(21)申请号202111418398.7

(22)申请日2021.11.26

(65)同一申请的已公布的文献号申请公布号CN114140418A

(43)申请公布日2022.03.04

(73)专利权人上海交通大学宁波人工智能研究

院

地址315012浙江省宁波市海曙区南门街

道南站西路29号

(51)Int.CI.

G06T7/00(2017.01)

GO6T7/10(2017.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)GO6N3/084(2023.01)

GO6T5/50(2006.01)

(56)对比文件

CN110298873A,2019.10.01

CN110026987A,2019.07.19

(72)发明人孙景慷张克勤褚健

裘焱枫杨根科审查员倪珅晟

(74)专利代理机构上海剑秋知识产权代理有限

公司31382

专利代理师徐浩俊徐海兵

权利要求书3页说明书8页附图1页

(54)发明名称

基于RGB图像和深度图像的七自由度抓取姿势检测方法

(57)摘要

CN114140418B本发明公开了一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，涉及计算机视觉领域，包括：步骤1、将深度图像转换为点云数据并投影得到三通道图像X-Y-Z图像；步骤2、使用ResNet-50对RGB图像和X-Y-Z图像的信息进行编码，得到目标分割结果和可行抓取语义分割结果；步骤3、对深度图像进行补全，得到密集点云；步骤4、利用可行抓取点和密集点云，计算可行抓取点的法向量和两个主曲率方向，构成抓取坐标系；步骤5、对可行抓取点的抓取深度和抓取宽度进行采样，生成若干抓取候选，每个抓取候选对应一个抓取闭合区域；步骤6、将抓取闭合区域内的点输入PointNet

CN114140418B

7nnag

CN114140418B权利要求书1/3页

2

1.一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，其特征在于，所述方法包括以下步骤：

步骤1、通过将深度图像转换为点云数据，并将所述点云数据的坐标投影到二维图像中，得到三通道坐标图像X-Y-Z图像；

步骤2、使用ResNet-50对RGB图像和所述X-Y-Z图像的信息进行编码，然后使用目标分割解码网络和可行抓取语义分割解码网络同时解码编码信息，得到图像中每个像素的目标分割结果和可行抓取语义分割结果，从所述可行抓取语义分割结果可以得到可行抓取点；

步骤3、使用PENet和利用所述RGB图像对所述深度图像进行补全，得到经过补全的密集深度图像，并进而得到密集点云；

步骤4、利用所述步骤2中的所述可行抓取语义分割结果得到的所述可行抓取点和所述步骤3中得到的所述密集点云，计算所述可行抓取点的法向量和两个主曲率方向，构成抓取坐标系；

步骤5、使用启发式算法对所述可行抓取点的抓取深度和抓取宽度进行采样，得到若干抓取候选，所述抓取候选的所述抓取深度为最大、所述抓取宽度为最小；每个所述抓取候选对应一个抓取闭合区域；

步骤6、将所述抓取候选的所述抓取闭合区域中的点输入PointNet中，过滤掉不可行的所述抓取候选，得到最终的抓取姿势集合；

步骤7:结合所述步骤2中的所述目标分割结果，将所述抓取姿势集合中的所述抓取候选投影到所述目标分割结果的目标上，生成针对性的抓取姿势；

在所述步骤2中，使用多任务语义分割模块对所述RGB图像和所述X-Y-Z图像进行逐像素的目标分割和可行抓取语义分割；所述目标分割用于检测像素所属的类别，所述可行抓取语义分割用于检测像素是否适合被作为抓取中心；

所述目标分割解码网络和所述可行抓取语义分割解码网络使用层数不同的密集上采样卷积模块组成；

所述目标分割解码网络的损失函数使用改进的交叉熵损失函数Lsem,定义为：

其中，N表示图像的像素总数；Nc表示类别总数；Wc表示类别c在所有类别中的权重，计算公式为;Tc表示类别真值为c的像素的总数，Tc用于平衡类别数目不均衡的情况；Xoc取值为0或1,为0表示该类别和该像素对应的类别真值不同，为1表示该类别和该像素对应的