面向3C装配的演示动作识别与动作规划方法研究.pdf

摘要

摘要

计算机、通讯和消费电子等3C产品生产制造的自动化需求愈加强烈。针

对3C产品高精度、小批量和快迭代的生产特点，演示学习这一简单直观、高

效且无技术门槛的机器人编程方法成为了3C产品自动化生产的重要解决路径。

但目前演示学习缺乏对灵巧复杂的机器人装配操作的深入研究。针对演示学习

存在的问题，本文搭建多模态数据采集平台以获取演示数据，通过动作识别来

提供语义信息，从而进行机器人装配动作规划方案的设计，使机器人能够可靠

且高效得完成3C装配任务。论文的主要研究内容包括：

通过调研分析3C产品线中典型的手机生产线中的装配动作，本文设计了

3C装配动素库。本文搭建了融合光学运动捕捉以及RGB相机的数据采集平台，

并设计了人机交互接口以及多模态数据对齐与补偿方案，可以获得高精度、多

维度的演示数据。最终本文构建了多模态的单装配动作与连续装配动作数据集。

基于多模态数据采集平台获得的六维轨迹和演示视频数据设计了多模态

融合的单动作识别网络。针对3C装配应用背景和两模态数据的不同特点，本

文设计了不同的特征提取支路。在位姿轨迹特征支路，本文设计了结合人工提

取特征及双层双向长短期记忆网络的特征提取网络；在视频特征提取支路，本

文采用融合局部时间递归模块的三维卷积视频动作特征提取网络，并进行了轨

迹与视频两模态的特征融合方案设计。在所构建的装配动作数据集上进行的实

验验证了所提出网络在动作识别任务中的有效性。

提出了融合膨胀卷积与自注意力的连续动作识别与分割模型，具有多尺度

的动作时序特征提取能力。本文设计了基于滑动窗口的局部优化方法作为对比

方案，以准确率、编辑距离以及F1分数作为评价指标，通过实验验证了所提出

的融合膨胀卷积与自注意力的模型在不同零部件以及演示操作人员上的连续

动作识别分割能力，可以为装配演示学习系统提供语义信息。

提出了基于动作识别的机器人装配动作规划方法。本文对3C装配过程中

接近段、对齐段及组装段内的行为动素设计了不同的控制器，同时改进了DP

算法以对组装段动素识别结果进行进一步分割。三套零部件的机器人装配实验

验证了所提出的基于动作识别的机器人装配动作规划方法的有效性与实用性。

关键词：演示学习；动作识别；光学运动捕捉；机器人装配

-I-

Abstract

Abstract

Theso-called”3Cproducts”whichreferstoComputer,Communication,andCon-

sumerElectronics,haveincreasinglystrongdemandsforautomationinindustrialmanu-

facturing.Inviewofthehigh-precision,small-batchandfast-iterationproductioncharac-

teristicsof3Cproducts,learningfromdemonstration(LfD)whichisasimple,intuitive,

efficientandnon-technicalrobotprogrammingmethod,hasbecomeanimportantsolution

pathfortheautomatedproductionof3Cproducts.

However,LfDcurrentlylacksin-depthstudiesondexterousandcomplexrobotic

assemblyoperations.Inviewoftheproblemsexistingindemonstrationlearning,thisdis-

sertationobtainsdemonstrationdatabybuildingamulti-modaldataacquisitionplatfor