基于三维卷积网络的视频行为识别研究综述.docVIP

基于三维卷积网络的视频行为识别研究综述

一、三维卷积网络的技术内核与演进脉络

视频行为识别的核心挑战在于同时捕捉空间维度的表观特征与时间维度的运动信息，传统二维卷积网络仅能对单帧图像的空间特征进行提取，无法有效建模帧间的时序关联，而三维卷积网络（3DConvolutionalNeuralNetwork,3DCNN）通过在卷积核中引入时间维度，实现了空间-时间特征的端到端联合学习，为视频行为识别提供了全新的技术路径。

三维卷积的基本运算逻辑是将卷积核在空间高度、空间宽度、时间长度三个维度上滑动，对连续多帧图像组成的三维特征块进行卷积操作，输出的特征图同时保留了空间结构信息与时序变化信息。与“二维卷积+循环神经网络”的两阶段架构相比，三维卷积网络避免了特征提取与时序建模的割裂，能够更高效地捕获短程运动模式与长程时序依赖。2014年，Karpathy等人首次将三维卷积应用于大规模视频行为识别任务，提出的C3D模型在Sports-1M数据集上取得了超越传统方法的性能，正式拉开了三维卷积网络在视频理解领域应用的序幕。早期C3D模型采用均匀采样的16帧输入，卷积核尺寸统一为3×3×3，参数量远高于同深度的二维卷积网络，存在计算成本高、易过拟合的缺陷。

针对早期三维卷积的局限性，研究人员从网络轻量化、时序建模优化两个方向展开了技术迭代。在轻量化方向，2017年提出的R3D（Residu