基于强化学习的机械臂视觉伺服抓取算法研究.pdf

基于强化学习的机械臂视觉伺服抓取算法研究

摘要

机械臂智能抓取因其环境适应好、自动化水平高、执行度高而在生产制造中得到了

更加广泛的运用，尤其适用于流水线上的智能抓取作业。因此本文提出了一种基于二维

图像的抓取位姿预测算法，利用该位姿预测算法获取环境的状态，模拟非结构化流水线

上机械臂抓取场景设计了强化学习仿真环境并基于两种不同的强化学习方法对智能抓

取过程进行研究。主要研究内容如下：

智能抓取中首先应该解决的是目标信息的获取问题，针对此问题本文进行了目标物

体抓取识别算法的研究。基于二维图像，利用SSD方法的同步检测原理，设计了多物体

场景中的目标物体识别网络。在利用数据集验证该物体识别算法的有效性和准确性后，

类比物体识别网络中水平检测框的IOU匹配策略，重新设计了一种适用于倾斜矩形框

的IOU匹配策略，同时将抓取位姿预测问题转化为区分物体可抓取和不可抓取位置的

二分类问题，按照物体识别的算法流程设计了抓取位姿预测网络。为了获得目标物体的

抓取位姿，设计了在同一个特征提取网络下分别同时进行物体识别和抓取位姿预测，再

进行IOU匹配的联合推理策略，并利用数据集验证了上述算法网络的准确性。

为了建立物体抓取识别预测与智能抓取的联系，设计了强化学习抓取的总体方案，

在获得抓取识别预测结果的前提下，新提出了一种基于欧式距离的图像相似度匹配策略，

并基于此策略设计了传统的状态评价式奖励函数和新型差值奖励函数；完成了机械臂的

建模分析，基于此模型利用微分运动原理推理得到了机械臂末端速度的控制方法并验证

了该方法的准确性，又利用蒙特卡洛法分析得到了符合拍摄角度的机械臂末端运动空间

和目标物体的位置重置空间，为强化学习环境的建立做好了准备。

在离散化动作控制抓取研究中，建立了非结构化流水线上机械臂抓取仿真环境，分

别利用DQN方法和DoubleDQN(DDQN)方法设计了强化学习智能抓取网络，并利用网

络分别控制机械臂末端在自由度上的移动初步验证了所提出的差值奖励策略和双样本z

池方法的有效性。经对比后最终利用DDQN方法进行位置控制模式智能抓取网络的训

练，完成了静止物体和运动物体的智能抓取研究，并将网络训练结果与传统状态评价式

奖励进行对比，验证了基于DDQN的强化学习抓取策略在收敛速度、稳定性和成功率

上的优越性。

在连续化动作控制抓取研究中，结合DDPG网络结构的差异性，设计了末端速度控

制模式的智能抓取网络结构、算法框架流程和训练方法，并完成了静止物体和运动物体

哈尔滨工程大学硕士学位论文

抓取网络的训练，借助两个抓取仿真实验分析了抓取流程和验证了算法的有效性，同时

4DDQN

分别与第章中基于的抓取策略的对应训练结果进行了对比，分析了两种策略

及离散与连续控制在应对机械臂智能抓取问题时的差异性和各自优势。

关键词：抓取识别；视觉伺服；强化学习；迁移学习

基于强化学习的机械臂视觉伺服抓取算法研究

Abstract

Theintelligentgraspingofroboticarmshasbeenwidelyusedinproductionand

manufacturingduetoitsgoodenvironmentaladaptability,highlevelofautomation,andhigh

execution,andisespeciallysuitableforintelligentgraspingoperationsonassemblylines.

Therefore,thispaperproposesagraspingposepredictionalgorithmbasedontwo-dimensional

images,whichutilizesthisposepredictionalgorithmtoobtainthestateo