基于时空特征的行为识别算法研究.pdfVIP

基于时空特征的行为识别算法研究 摘 要 人体行为识别在智能视频监控、人机交互和智能驾驶行为识别等领域都有着广泛的 应用。然而，当前的人体行为识别准确率还不尽如人意。本文针对行为识别中存在的部 分遮挡、数据噪声、视角变化和数据量有限等问题，对基于时空特征的行为识别展开研 究，主要的创新性工作包括以下三方面。 第一，本文以几何代数为数学工具挖掘视频时空相关性，提出了一种基于联合视频 表观与运动信息的时空兴趣点的视频行为识别算法。具体地，首先构建一个视频时空域 几何代数空间，然后提出了一种联合视频表观与运动信息的视频表征模型，接着基于该 模型发展了一种视频时空域相关性约束下的时空兴趣点检测算法，用于描述视频的时空 邻域结构，最后将其应用于视频行为识别中。实验结果表明，相比于传统的时空兴趣点 检测算法，本文检测得到的时空兴趣点充分地反映了视频表观与运动信息在时空域各梯 度方向上的显著变化，并去除了大量与人体行为无关的冗余信息，同时对于视频中的部 分遮挡和数据噪声具有较强的鲁棒性，可有效地提升视频行为识别的准确率。 第二，本文以几何代数为数学工具挖掘骨架序列的几何特性，提出一种基于时空视 角不变的形态与运动表征的骨架行为识别算法。具体来说，首先构建一个骨架序列几何 代数空间，然后提出了一种基于旋转子的骨架序列视角变换方法，接着构建了骨架序列 时空视角不变模型。进一步地，基于该模型提取骨架序列的形态与运动表征，以时空融 合的方式对骨架序列的全局时空特征进行描述。最后将由骨架序列形态与运动表征编码 形成的彩色图片输入一个可选择的多通道卷积神经网络，并输出骨架序列对应的行为识 别结果。实验结果表明，本文提出的算法既消除了骨架序列的多视角差异性，又保留了 帧间的相对旋转运动信息，提取得到的骨架序列形态与运动表征相互补充且具有视角不 变性，有效地提升了骨架行为识别的准确率。 第三，本文提出了一种基于时空注意力与运动增强的骨架行为识别深度网络。具体 地，首先分别提出一种运动信息引导的通道注意力模型和一种时空注意力模型，然后将 它们进行结合进而构造出局部与全局注意力网络，以时空注意力融合的方式提取骨架序 列中涉及长距离依赖关系的深度全局时空特征。此外，为解决由于稀疏的骨架数据导致 的类内差异性，提出了一种骨架特征演化图编码方法，有效地丰富了骨架序列特征。实 I 基于时空特征的行为识别算法研究 验结果表明，本文设计的深度网络不仅能够捕捉骨架序列的帧间运动信息，又能够捕捉 时空上下文感知协同信息，取得了现有最先进的骨架行为识别准确率。 关键词：人体行为识别；视频序列；骨架序列；时空特征；几何代数 II Study of Action Recognition Algorithms Based on Spatio-temporal Features Abstract Human action recognition has a wide of applications in intelligent video surveillance, human-computer interaction, and intelligent driving behavior recognition. However, the current accuracy rate of action recognition is still not satisfactory. Aiming at the problems of partial occlusions, noisy data, viewpoint changes and limited data in action recognition, this paper conducts study of action recognition algorithms based on spatio-temporal features. The main innovations of this paper inclu