基于深度学习的物体检测和抓取技术研究.pdf

摘要

机器人抓取技术对于服务机器人以及工业机器人有着重大的意义。机器人智

能化的发展迫使机器人需要有自主学习的能力，其中也包括抓取能力。机器人抓

取的研究内容主要包括分析人手结构和功能，制作多指的手爪，从形封闭和力封

闭对机器人抓取进行定性分析以及研究机器人抓取的封闭性、可操作性、稳定性

等。近些年，随着计算机计算能力的增强，大数据以及机器学习得到了快速的发

展，被运用到了各个领域。机器学习中的深度学习技术也给机器人抓取领域注入

了新的活力。本文以Robotiq140二指爪为执行机构，利用深度学习技术建立目标

检测模型和抓取网络模型，完成了机器人的抓取任务。主要研究内容包括：虚拟

环境的数据对训练目标检测网络的影响，机器人抓取参数的设计，抓取网络模型

的搭建，以及抓取网络模型的训练。

本文首先针对家用物品进行目标检测，建立了目标检测的网络模型，并且建

立了相应的数据集。为了减轻收集数据的工作量，本文提出了背景分离的方法自

动从虚拟环境中收集带有标签的数据集，比较了该数据集以及真实环境采集的数

据集在不同比例下训练的网络模型的性能。当以3000张虚拟图片和40张真实图

片作为训练集，测得平均准确率为94%，而以320张作为训练集，测得准确率为

93%。实验表明虚拟数据有助于网络的收敛。

接着，基于目前国内外学者提出的基于深度学习的机器人抓取数学模型，设

计了本文抓取模型的数学表达式。本文使用全卷积预测以及残差单元设计了抓取

网络模型；为了快速获得训练数据，提出了基于视觉的定步长包围盒抓取算法，

并在虚拟环境和现实环境中使用该方法收集训练数据。文中使用收集的虚拟数据

和现实数据相结合的方法训练抓取网络模型，在虚拟环境和现实环境下验证了抓

取网络的性能。在现实环境中，对熟悉的物体的抓取准确率为89%，在新颖的物

体（未在训练集中的物体）中抓取准确率为82%。实验表明，定步长包围盒算法

明显加速了实验数据的收集，虚拟数据的使用增强了抓取网络模型的性能。

最后，搭建了基于V-REP的虚拟仿真实验环境，结合tensorflow完成了虚拟

环境下机器人的抓取。然后将训练好的目标检测网络模型和抓取网络模型结合，

利用真实机器人对已知物体进行了抓取实验，抓取成功率为80%。实验表明抓取

算法是可行的，并且整个系统是稳定的。

关键词：深度学习；机器人抓取；目标检测；抓取卷积网络；虚拟数据

Abstract

Robotgraspingtechnologyhasgreatsignificanceforservicerobotsandindustrial

robots.Thedevelopmentofrobotintelligencecompelsrobotstotheabilityof

autonomiclearning,includinggraspingability.Theresearchofrobotgraspingmainly

includestheanalysisofthestructureandfunctionoftherobothand,thehandclawof

multifinger,thequalitativeanalysisofrobotgrabbingfromtheformclosureandthe

forceclosure,andthestudyofthecloseness,maneuverabilityandstabilityoftherobot

grasping.Inrecentyears,withtheenhancementofcomputercomputingability,large

dataandmachinelearninghavebeendevelopedrapidly,andhavebeenappliedto

variousfields.Deeplearninghasalso