基于多纤维特征融合的行人异常行为识别算法研究.pdfVIP

摘要

随着计算机视觉与深度学习理论的不断发展，基于深度学习的行为识别技术渐渐成为计

算机视觉领域的重要研究方向之一，广泛地应用于诸如智能监控、人机交互等多个领域。其

中，相比传统特征提取方法，卷积神经网络（ConvolutionalNeuralNetwork,CNN）作为一种

典型的深度学习模型在图像分类任务中取得了突破性进展，然而应用于视频中的行为识别模

型仍然存在准确率较低、计算成本和模型存储较大等问题。因此，在深度学习的基础上，有

效地识别视频中的行为具有广泛的研究价值与重要的研究意义。

论文首先介绍了行人异常行为识别技术的研究背景及意义，分析了该技术国内外的研究

现状，然后阐述了卷积神经网络理论基础以及基于深度学习的主流行为识别方法，对于该任

务目前存在的问题和难点进行了分析，并依据行人异常行为识别中存在的问题，本文展开了

以下两方面的工作和创新：

(1)提出了基于深度可分离卷积的三维多纤维网络模型

针对三维卷积神经网络（3DCNN）模型计算量较大的问题，本文在目前行为识别任务中

表现优异的三维多纤维网络（3DMulti-fiberNetwork,3DMF-Net）中引入二维卷积神经网络

2DCNNDepthwise

（）中常用的模型压缩方法。首先，在网络卷积层中加入深度可分离卷积（

SeparableConvolution），采用基于深度可分离卷积的结构替换了其中计算成本较大的多纤维

单元模块，它与原模型相比，能够有效降低计算成本；其次，借助空洞卷积（Dilated

Convolutions,DC）在卷积核中注入空洞使其膨胀的思想，对网络中较大的卷积核进行空洞处

理以达到减小计算量的目的；最后，通过权衡不同宽度乘数下模型复杂度与准确率的关系，

使模型在效率和性能之间实现有效折中，最终实现了一种基于深度可分离卷积的三维多纤维

3DMulti-fiberNetworkBasedonDepthwiseSeparableConvolution,3DDSMF-Net

网络模型（）。

实验结果显示，该模型牺牲了较小精度的同时带来了计算量和参数量的大幅降低。

(2)提出了基于注意力机制的三维自适应卷积神经网络模型

针对在模型压缩过程中精度损失的问题，本文通过结合三维自适应卷积层与多尺度特征

融合池化层两个模块，构建了基于注意力机制的三维自适应卷积神经网络模型（3DAdaptive

ConvolutionalNeuralNetworkModelBasedonAttentionMechanism,3DADNet-AM）来提高模

型对于异常行为识别的有效性和鲁棒性。其中，三维自适应卷积层是将卷积核动态选择网络

SelectiveKernelNetworks,SKNet

（）中的选择性卷积单元扩展到三维，该模块通过根据输入

信息自适应地调整卷积层感受野的大小，实现了对两个尺度时空信息的特征提取，并使用注

意力机制（AttentionMechanism,AM）生成注意力矢量，作为这两类特征融合时的权重；多

FeatureMaps3

尺度特征融合池化层则通过对原始特征图（）进行次不同尺度缩放后分别池化，

并将输出特征按照级联的方式进行拼接，得到一个固定维度的特征图。通过与3DMF-Net模

型进行对比，算法不仅减少了2.81G计算代价，而且提高了2.45%的Top-1精度，从而验证

了本文算法对于网络性能有着明显的提升。

关键词异常行为识别，三维卷积神经网络，三维多纤维网络，深度可分离卷积，多尺度特征

融合

ABSTRACT

Withthecontinuousdevelopmentofcomputervision