基于深度学习的机械臂目标抓取检测研究.pdfVIP

基于深度学习的机械臂目标抓取检测研究

摘要

安装了视觉系统的机械臂在工业、服务业、医疗等场景下均有着广泛的应用。随着

人类社会由工业自动化向信息智能化的迈进，人工智能与机械臂抓取技术发展迅速，机

械臂的智能化抓取已成为学术界和工业界的研究热点。目前，对机械臂在已知目标和结

构化工作环境下的抓取研究已取得重大进展和应用。然而在面对未知目标物体时，抓取

智能化不足、自适应能力和泛化性能较差。针对上述问题，本文对机械臂的目标抓取位

姿检测工作进行深入研究，采用人工智能和机械臂相结合的模式，设计了一种基于深度

学习的机械臂目标抓取检测网络，搭建了机械臂自主抓取仿真系统，并在此平台上进行

目标抓取实验，验证了目标抓取检测算法的有效性和抓取系统的可靠性。

首先，针对未知目标物体的工作场景，对机械臂抓取系统的整体工作流程进行设计，

完成了基于Kinect相机和Panda机械臂的抓取系统框架。给出了Panda机械臂和两指夹

持器的结构和参数，确定了机械臂抓取物体时抓取位姿的表示方法。构建出Kinect相机

视觉系统，对相机标定和图像匹配的数学原理以及机械臂抓取系统中各个坐标系之间的

转换关系进行分析求解，并进行了相机内参标定实验。

其次，分析了卷积神经网络各组成结构的原理和作用。对基于卷积神经网络的目标

检测算法进行深入研究，通过理论分析和实验验证相结合的方法对几种目标检测算法的

优缺点进行对比，从精度和速度两方面选择综合性能最优的目标检测算法作为基础网络。

结合机械臂抓取检测的特点和实际应用环境对YOLOX网络进行针对性改进，在其基础

上设计增加基于空洞卷积的空洞空间卷积池化金字塔(AtrousSpatialPyramidPooling,

ASPP)模块和卷积注意力机制(Convolutionalblockattentionmodule,CBAM)模块，并构建

了全新的特征金字塔(FeaturePyramidNetworks,FPN)结构和输出结构，损失函数改进为

FocalLoss损失计算函数，最终构建出一种由输入图像直接输出抓取位姿参数的像素级

目标抓取检测网络Grasp-YOLOX。建立了目标抓取检测网络数据集。通过对比实验确

定网络在以深度图作为输入时能取得最好的检测效果。确定了抓取检测评价标准和准确

率计算方式，然后和其他研究者提出的基于深度学习的目标抓取检测算法进行性能对比，

验证了改进算法的有效性。

最后，建立了基于PyBullet仿真环境的机械臂自主抓取系统实验平台并设计目标抓

取仿真实验。对机械臂运动规划算法建模和逆运动学求解的原理进行深入分析。构建系

统各部件的URDF模型，配置PyBullet仿真环境下的相机参数和轨迹规划函数，设置机

械臂抓取时的动作流程。在搭建的平台上进行抓取实验，验证了抓取检测算法的准确性

和机械臂抓取系统的可靠性。

关键词：机械臂抓取；目标检测；抓取检测；深度学习；PyBullet仿真

基于深度学习的机械臂目标抓取检测研究

Abstract

Theroboticarmequippedwithvisualsystemiswidelyusedinindustrial,service,medical

andotherscenarios.Withtheprogressofhumansocietyfromindustrialautomationto

informationintelligence,artificialintelligenceandroboticarmgraspingtechnologyhave

developedrapidly,andtheintelligentgraspingofroboticarmshasbecomearesearchhotspot

inbothacademiaandindustry.Atpresent,significantprogressandapplicationshavebeenmade

intheresearchofroboticarm