基于深度学习的多物体分拣系统研究.pdfVIP

摘要

基于深度学习的多物体分拣系统研究

近些年来，随着工业领域的回暖、人工成本的逐年增加和人口老龄化的影

响，机器人代替人已经成为未来许多领域的主流趋势。机器人分拣作为机器人

常用的技术，广泛应用于家庭服务、工业制造和物流仓储等领域。机器人分拣

是一项具有复杂性的任务，主要涉及了场景感知、目标检测、位姿估计和抓取

规划等，已经成为研究人员研究的热点。但是，目前大多数机器人分拣系统仅

能够对单类目标物体或相互分离的多类目标物体完成分拣任务，而针对非结构

化场景中存在堆叠或遮挡的多类物体的分拣尚未有良好的解决。

为了使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准

确的分拣操作，本文首先搭建了机器人多物体分拣系统；然后利用旋转目标检

测网络获得了目标物体类别、位置及旋转角度；之后通过优化MaskR-CNN实

例分割网络分割出物体表面像素，利用相机标定、主成分分析法和欧拉角法估

计目标物体的抓取位姿，并提出一种基于先验知识的物体分拣次序推理算法；

最后在所搭建的实验平台上检验了旋转目标检测网络、实例分割网络和机器人

分拣系统的性能。本文主要工作如下：

（1）为实现在复杂非结构化场景中机器人的自动化和智能化分拣，本文搭

建了一个集目标检测、场景实例分割、位姿识别和分拣顺序推理于一体的机器

人多物体分拣系统，并对系统中主要的硬件设备进行了介绍。

（2）针对目标物体在图像中存在较大的倾斜时传统基于水平边框的目标检

测网络无法有效识别物体姿态的问题，本文采用旋转目标检测网络R3Det来获

取场景中目标物体的类别、位置和旋转角度等信息，为后续抓取位姿估计和机

器人分拣提供信息；之后通过构建目标物体的数据集，完成了旋转目标检测网

络的训练与评估。

（3）本文通过替换MaskR-CNN的掩膜分支，搭建了优化MaskR-CNN

实例分割网络，解决了原有网络对物体轮廓分割不精细的问题；然后利用相机

标定将物体表面像素转化为点云；之后运用主成分分析法对物体表面进行法向

量估计，并结合物体的旋转角度采用欧拉角法估计目标物体的抓取位姿；最后

I

提出一种基于先验知识的物体分拣次序推理算法，解决了机器人因对场景理解

不足而导致损伤物体或抓取失败的问题。

（4）本文搭建了机器人多物体分拣实验平台，通过服务端/客户端架构进行

了分拣系统的软件设计，并在机器人多物体分拣实验平台上，进行了单个物体抓

取实验和多类物体分拣实验。实验结果表明，本文提出的基于深度学习的多物体

分拣系统能够在非结构化场景中对堆叠物体进行自主、安全和稳定的分拣。

关键词：

机器人分拣，旋转目标检测，实例分割，位姿估计

II

Abstract

ResearchonMulti-ObjectSortingSystemBasedonDeepLearning

Inrecentyears,withtherecoveryoftheindustrialfield,theannualincreasein

laborcostsandtheimpactoftheagingpopulation,robotshavebecomethemainstream

trendinmanyfieldsinthefuture.Asacommonlyusedtechnologyforrobots,robotic

sortinghasbeenwidelyusedinhouseholdservices,industrialmanufacturing,logistics

and