基于深度学习的动作识别研究与实现.pdfVIP

摘 要 摘 要 随着人工智能与物联网的发展，人体动作识别在智能视频监控、智能人机交互、虚 拟现实和运动分析等领域的需求日益增加。然而由于动作识别涉及多个学科且实际应用 场景多变，一直是个充满挑战的研究方向。基于深度学习在图片分类任务取得的巨大成 功，研究学者将其逐步应用到人体动作识别领域，但仍存在着动态特征不够高效、无法 充分利用多模态信息等问题而无法实现实用化。 为了充分挖掘动态特征以及利用多模态信息互补关系，本文着重研究高效的特征表 达和特征融合来提升动作识别准确率。本文的主要贡献有三点：（1）基于光流有效性 本质研究了一种人体轮廓特征来表征视频中的动态信息, 即人和物体轮廓特征（Human– Object Contour,HOC ）, 通过结合物体类别包含了更高阶的语义信息, 从而可以充分挖掘 视频中的动态逻辑信息，优化光流动态特征。（2 ）研究了一种高效的多模态信息融合网 络，即多模态有注意力的融合网络（Attentional Multi-modal Fusion Network,AMFN ）。借 鉴集成学习中的层叠泛化思想，同时参考人类视觉的选择性注意力机制，结合每个视频 本身特征决定不同模态应分配的注意力大小，实现了多模态信息的最大化利用。（3 ）嵌 入式端实用化尝试。将HOC 特征应用在Jetson TX2 嵌入式开发板提升动作识别应用准 确率，同时利用TensorRT 神经网络加速引擎实现推理过程的加速，有效提升了动作识 别应用的实时性。 实验结果表明：（1）HOC 动态特征与RGB 静态特征有效互补，在超过60% 的动 作分类上都有提升；（2 ）结合HOC 特征和AMFN 网络，在动作识别数据集UCF101 （96.0%) 和HMDB51 （72.2% ）上取得了较佳表现；（3 ）在Jetson TX2 嵌入式平台结合 HOC 特征，初步实现了动作识别应用系统，并基于TensorRT 加速引擎将模型前向计算 的速率由原先的27FPS 提升至153FPS。综上，实验结果达到了指标要求。 关键词： 动作识别，深度学习，特征表达，特征融合，视频理解 Abstract Abstract With the development of artificial intelligence and Internet of Things, human action recog- nition has great demand in video surveillance, human-computer interaction, virtual reality, mo- tion analysis and other fields. Based on the great success of image classification, researchers have applied the deep learning method to the field of action recognition. However, there are problems such as the fact that the dynamic characteristics are not efficient enough, the multi- modal information can not be fully utilized, and the application cannot be deployed. In order to fully exploit the temporal information and utilize complementarity of multiple modalities, efficient feature representation and feature fusion methods are studied to improve the accuracy of action recognition. There are three main contributions. (1) Firstly, a novel