基于注意增强和时空特征融合的人体行为识别算法研究.pdfVIP

摘要

摘要

在机器学习和人工智能等多个研究领域中，人体行为识别被认为是一个较为

重要的主题。这一主题不仅具有较高的学术价值，还在多种不同的应用场景中得

到了广泛应用，包括但不仅限于人机交互、虚拟现实技术、智能家居系统和智能

安全防护等方面，是计算机视觉方向的热点研究课题。近年来，随着硬件设备的

升级和科技的进步，以及各类视频数据急剧增加，基于视频数据的视觉分析引得

人们的关注。人体行为识别技术不同于传统的图像处理技术，需要提取时序信息，

目前，主流的卷积神经网络模型在对长时程视频数据进行建模方面存在一定的局

限性，且三维卷积参数量大，计算量高，提取的特征尺度单一；从另一个角度看，

视频片段里充斥着大量的多余数据帧，如果不进行适当的处理，这不仅会增加模

型训练的复杂性，还可能导致网络出现过度拟合的问题。因此，如何既提取到视

频序列的关键信息和图像帧之间的时序关联性又合理地降低模型训练的复杂度，

成为当前基于视频行为识别中一个亟需解决的难题。为此，本文提出了融合注意

增强和时空特征的人体动作识别技术，旨在提升视频中行为识别的精确度和实用

性。

本文的主要工作如下：

(1)提出了一种基于多路卷积网络聚合的动作识别算法。由于双流网络模型

中光流分支网络在时序特征的表达方面具有一定的优势，为采用不同尺度、不同

模态的视频帧图像数据作为输入源来描述发生时间长短不一的行为信息，我们引

入光流分支与不同尺度的卷积网络进行聚合，并将各个分支提取的特征进行融

合，以此解决图像动作信息在尺度变化和时间维度提取完整度等方面的问题。经

实验验证表明，所提算法在考虑多个模态特征互补的情况下，能克服固定长度序

列的输入对于不同长度行为区分力不足的缺点，从而有效地改善网络识别性能。

(2)提出了基于MCCNN与Bi-LSTM网络聚合的行为识别算法。为提取出更

加稳健的行为特征以及提高模型的鲁棒性，参考了多路网络具有很好的特征互补

性，并且从识别准确率上看明显好于单一支路网络模型，综合考虑采用多路卷积

网络(MCCNN)和双向长短时记忆网络(Bi-LSTM)来分别替代LRCN网络模型中

的卷积神经网络(CNN)和长短时记忆网络(LSTM)，最终在UCF101和HDMB51

数据集上进行了实验，并与其他高质量的算法进行了比较，准确率分别达到了

93.2%和70.1%，在一定程度上更加充分地捕获数据视频中的时空特征信息，从

而提高模型对样本的分辨能力。

(3)提出了基于注意力机制与改进三维卷积聚合的行为识别算法。考虑到三

--I

摘要

维卷积具有时序信息建模的优良特性，但是会带来计算开销过大等问题，本文首

先提出一种轻量化三维卷积网络模型。将拆分后的三维卷积网络特征通道进行过

滤，整合成4通道的视频信息，并分解为空间信息流和时间信息流分别进行卷积

操作，以此来降低参数量，减少训练时间。同时，利用双流网络的结构思想，将

特征信息融合，通过实验在UCF101数据集上进行验证，准确率达到了92.4%。

为了进一步提升模型的识别准确率，引入注意力机制模块来强化运动特征和抑制

无用特征，以区别不同特征在分类结果中所占的比例。通过实验训练，证实该算

法有效地提高了识别准确率，在人体行为识别技术领域具有一定的竞争力。

关键词：行为识别；多路卷积网络；注意力机制；时空特征融合；轻量化网络聚

合

II



Abstract

Abstract

Inmultipleresearchfieldssuchasmachinelearningandartificialintelligence,

humanbehaviorrecognitionisconsideredarelativelyimportanttopic.Thistopicnot

onlyhashi