工业场景下的行为识别方法研究.pdfVIP

摘要

在自动化、智能化的现代生产制造过程中，行为识别技术扮演着越来越重要

的角色。在工业场景应用行为识别技术可以有效提高生产效率，降低生产成本以

及提高产品合格率。然而工业场景中的行为识别面临诸多问题和挑战，如巨大计

算成本、复杂背景、人体遮挡、真负率过低等问题。本文针对两个不同工业场景，

分别提出了相应的行为识别方法，本文研究内容如下：

1.针对工业装箱场景中的装箱动作，提出了基于双视图三维卷积的装箱行为

识别方法。主要工作包括：（1）针对人体遮挡问题，设计了双视图结构，使用两

个不同角度摄像头同一时间获取到的RGB视频作为双视图模型的输入。并使用

一个可学习权重的双视图池化层融合两个视图的时空特征；（2）针对光流的巨大

计算成本，本文使用堆叠的差分图像（ResidualFrames，RF）作为模型的输入来

更好地提取运动特征，替代实时场景中无法使用的光流。原始RGB图像和差分

图像分别输入到两个并行的3DResNeXt101中；（3）为提高模型的真负率（True

NegativeRate），满足装箱场景需求，在模型中加入堆叠降噪自编码器和Two-class

SVM。

2.针对工业侧板焊接场景中的换焊丝动作，提出了基于多特征融合的换焊丝

行为识别方法。主要工作包括：（1）使用YOLOv4对监控视频进行前景提取，

剔除无关背景，降低焊接白光对行为识别的干扰；（2）针对光流的巨大计算成本，

使用光流估计网络PWC-Net来生成光流，并作为网络的输入，弥补RGB图像中

没有的运动信息，减少计算量的同时有效提高模型精度；（3）引入基于RGB视

频生成的三维人体骨架投影作为模型的输入，降低人体遮挡的干扰；（4）在模型

的串接层（Concatenationlayer）之后接入一个BiLSTM，对三维卷积网络提取到

的高层特征建模，进而提升模型对时空特征的表达能力。

本文对提出的两种行为识别方法设计了大量的对比实验，验证了本文所提方

法的有效性和准确性。

关键词：行为识别、多视图、三维卷积神经网络、特征融合、人体骨架

ABSTRACT

Inthemodernmanufacturingprocessofautomationandintelligence,action

recognitiontechnologyplaysanincreasinglyimportantrole.Actionrecognitionin

industrialscenarioscaneffectivelyimproveproductivity,reduceproductioncosts,

increaseproductqualificationrates.However,Therearemanychallengesandproblems

thatfacetheactionrecognitiontechniquesnindustrialscenariossuchashuge

computationalcost,complexbackground,occlusion,andlowtruenegativerate.Inthis

thesis,correspondingactionrecognitionmethodsareproposedfortwodifferent

industrialscenarios,andtheresearchcontentofthisthesisisasfollows.

1.Forthepackingactionintheindustrialpackingscene,theindustrialcrating

actionrecognitionmethodbasedonmulti-view3Dconvolutionisproposed.Themain

workincludes:(1)Forthehumanbodyocclusionproblem,amulti-v