基于分层时间记忆的视频动作识别方法结题报告.docVIP

基于分层时间记忆的视频动作识别方法结题报告

一、研究背景与问题提出

在计算机视觉领域，视频动作识别作为理解人类行为的核心技术，广泛应用于智能安防、人机交互、智能家居、体育赛事分析等多个场景。随着深度学习技术的快速发展，基于卷积神经网络（CNN）和循环神经网络（RNN）的视频动作识别方法取得了显著进展，但仍面临诸多挑战。

传统的视频动作识别方法主要依赖于对视频帧的空间特征提取和时序特征建模。例如，3D-CNN通过在三维空间（宽、高、时间）上进行卷积操作，直接学习视频的时空特征，但这种方法存在计算复杂度高、参数量大的问题，难以在资源受限的设备上部署。而基于2D-CNN与RNN结合的方法，先利用2D-CNN提取每帧的空间特征，再通过RNN对时序特征进行建模，虽然降低了计算成本，但RNN存在长期依赖问题，难以捕捉视频中长时间跨度的动作关联。

此外，现实场景中的视频数据往往具有复杂的时序结构。一个完整的动作通常由多个子动作组成，子动作之间存在递进或并列的时间关系，且不同动作的持续时间差异较大。例如，“倒水”动作包含“拿起水壶”“倾斜水壶”“放下水壶”等子动作，而“跑步”动作则是一个持续的周期性行为。传统方法在处理这类具有分层时间结构的动作时，缺乏有效的机制来建模不同层级的时间依赖关系，导致对复杂动作的识别精度不足。

为了解决上述问题，本研究提出了基于分层时间记忆（HierarchicalT