基于时空特征学习的人体动作识别研究.pdfVIP

摘要

基于视频的人体动作识别，作为近年来计算机视觉领域中热门的研究课题，被广泛

应用于智能安防、智慧医疗、人机交互和视频检索等领域。然而动作的类内差异性和类

间相似性增加了动作的识别难度；背景复杂性、视角多样性和光照强弱性也同样影响识

别性能。为了改善人体动作的识别性能，本文基于深度学习方法，通过学习动作的时空

特征对人体动作识别进行深入研究，主要研究工作如下：

1）给出一种基于随机稀疏时间采样方法。大多数人体动作识别方法都是基于视频

数据进行识别分类，然而视频中存在数据冗余。因此，对动作分类前需要将视频数据进

行采样处理。本文采用随机稀疏时间采样方法，去除视频的冗余问题，并且采用几何变

换方法和像素变换方法进行数据增强。

2）给出一种基于时空注意力和卷积LSTM相结合的动作识别方法。在InceptionV2

模型上进行改进，采用随机稀疏时间采样方法覆盖整个动作视频，借助注意力模块与卷

积LSTM提取动作识别关键特征，增强模型对动作时空特征的表达能力。给出的方法在

UCF101和HMDB51数据集上准确率分别达到了92.45%和66.74%。同时，本章模型的

时间复杂度和空间复杂度与其他方法相比都有所下降，验证了本章方法的有效性。

3）给出一种基于多角度移位Transformer动作识别方法。本模型在Transformer网

络的基础上进行改进，提出局部自注意力和多角度移位分区方法。局部自注意力将动作

的时空结构和局部信息整合到Transformer结构中，使得时空内距离彼此较近的特征更

有相关性。多角度移位分区方法则整合了视频中局部和全局的动作特征，极大地提高了

模型的特征提取能力。本章给出的方法在UCF101和HMDB51数据集上准确率分别达

到了94.77%和72.48%，验证了本章方法在动作识别任务中的有效性。

关键词：人体动作识别；卷积神经网络；卷积LSTM；注意力机制；Transformer

StudyofHumanActionRecognitionBasedonSpatio-TemporalFeature

Learning

Abstract

Forhumanactionrecognitionbasedonvideo,asapopularresearchtopicinthefieldof

computervisioninrecentyears,hasbeenwidelyusedinintelligentsecurity,intelligentmedical,

human-computerinteractionandvideoretrievalandotherfields.However,theintra-class

differenceandinter-classsimilarityofactionsincreasethedifficultyofactionrecognition.The

complexityofthebackground,thediversityofperspectivesandtheintensityofillumination

alsoaffecttheperformanceoftherecognition.Inordertoimprovetheperformanceofhuman

actionrecognition,basedonthedeeplearningmethod,thisthesismakesanin-depthstudyof

humanactionrecognitionbylearningthespatio-temporalfeature,andthemainstudyworkis

asfollows:

1）Asamplingmethodbaseonrandomsparsetimeispresented.Most