基于深度学习的目标识别与姿态估计研究.pdfVIP

基于深度学习的目标识别与姿态估计研究

摘要

随着工业技术的不断发展，由计算机视觉引导的机器人抓取系统在智能制造的领域

中被广泛应用。计算机视觉在抓取系统中扮演着核心角色，三维视觉相比于二维视觉可

以获得更加详细的目标类别、形状、姿态等信息，逐渐成为视觉技术在机器人应用领域

的研究热点。基于三维信息抓取问题，本文通过深度学习的方法对目标识别与姿态估计

进行了深入研究，并通过对实际物体的抓取进行实验分析。本文主要工作如下：

（1）针对机器人抓取系统中目标点云识别与6D姿态估计缺少物体三维模型的问

题，本文设计了一种基于RGB-D图像的物体三维重建方法。该方法主要利用Realsense

D435i深度相机获取物体的彩色图像与深度图像，通过转盘上关键点识别对多视角的物

体点云进行配准和融合，并剔除无关背景的点云数据，最终通过多姿态点云配准获得物

体完整的三维点云模型，为后续深度学习算法提供了高精度的三维模型数据集。

（2）本文设计了优化的PointNet网络对物体三维点云模型数据集进行训练并通过

模型对场景点云数据进行点云目标识别。首先根据每个点的特征去学习得到网络模型，

通过多个多层感知器对每个点独立建模，使用一个对称函数聚合全局特征。然后在点云

数据输入端通过棋盘格角点识别构建桌面点云，将物体点云与桌面点云通过点云颜色进

行分割，从而可以准确的选择出物体点云输入到神经网络中进行点云识别。实验表明，

该方法可以对实际环境中的物体进行准确的分类识别。

（3）本文对基于改进DenseFusion的位姿估计方法进行研究，设计了基于空间-坐

标注意力机制的位姿估计算法。首先研究了DenseFusion算法的输出，确定了算法结果

的输出形式,然后对DenseFusion算法进行详细分析，系统地分析了DenseFusion网络

的框架结构和工作原理。针对实际抓取任务中目标物体存在遮挡的情况，在DenseFusion

算法的基础上进行改进，在PSPNet网络中加入空间-坐标注意力机制，使算法可以对特

征信息更加精确的识别和定位。最后通过数据集的制作以及网络的训练进行了6D位姿

估计对比实验，实验中分别对单目标物体和多目标物体情况下的背景复杂度以及遮挡进

行对比分析。实验表明改进DenseFusion算法在实际环境中可以有效的工作并且相比于

传统DenseFusion算法具有更强的抗干扰性。

（4）搭建了视觉引导的机器人抓取系统并进行了物体抓取实验。利用实际物体构

建了点云目标识别与6D姿态估计数据集，并对物体进行了抓取实验，验证了本文采用

的目标识别与姿态估计算法在实际抓取中的可靠性和鲁棒性。

I

哈尔滨工程大学硕士学位论文

关键词：深度学习；目标识别；姿态估计；三维重建；机器人抓取

II

基于深度学习的目标识别与姿态估计研究

ABSTRACT

Withthedevelopmentofindustrialtechnology,robotgraspingsystemguidedbycomputer

visionhasbeenwidelyusedinthefieldofintelligentmanufacturing.Computervisionplaysa

coreroleinthegraspingsystem.Comparedwithtwo-dimensionalvision,three-dimensional

visioncanobtainmoredetailedinformationsuchastargetcategory,shape,posture,etc.,which

hasgraduallybecomearesearchhotspotinthefieldofrobotapplicationofvis