面向特定场景的行为语义抽取算法的研究.pdfVIP

面向特定场景的行为语义抽取算法的研究 摘 要 随着科学技术的发展，视频图像的分辨率逐渐提高，硬件计算性能也呈几何 级上升。这就为机器学习技术突破计算能力的瓶颈提供了可能，推动其更广泛地 运用到人们生产生活各个方面。行为识别与动作分类目前在安保、医疗等方面具 有重要的研究意义。有效的利用机器学习技术，能够有效推动行为识别与动作分 类领域的进一步发展。 人体行为识别目前主要体现为对动作的分类，而动作分类可以看作是特征提 取和分类器设计相结合的过程。但视频图像的形变、视角和光照的变化、摄像头 位置的相对移动都会提升特征提取和分类器分类的难度，最终对识别结果造成影 响。同时现有的检测方法缺少对视频序列的整体分析。 为了解决以上问题，本文对行为识别和动作分类进行了研究并引入机器学习 网络模型进行了实验。本研究的创新之处主要体现为以下的两个方面： 首先，提出了将骨架信息与卷积网络相融合的行为识别模型，能够较好地适 应训练样本不均衡，变化区域尺度不一的问题，减少了视频图像形变与光照带来 的影响。高分辨率视频图像的快速发展导致其中的冗余信息也随之增加，骨架网 络的输入为提取到的三维骨架关节点信息，以关节点的位移来表征人体的肢体运 动情况，有效减少了视频冗余信息带来的影响。本模型中还创新性地引入了注意 力机制，在网络中设计了一个新颖的时空卷积模块，用于对人体骨架运动情况进 行时空相关性建模，能够更好的对整体视频序列上进行分析，提高了训练的有效 性和分类的准确度。 其次，本研究对于现存的数据集进行整理、分析、选取。同时，为避免图像 中背景的变化，在实验室搭建了数据集采集场景，模拟了背景相对固定的环境。 以此特定环境为基础构建了新的数据集，并对数据集中的视频剪辑样本进行了骨 架特征的提取。 关键词：行为识别，机器学习，注意力机制 I 目 录 摘 要 I Abstract II 第一章 绪论1 1.1 研究背景及意义 1 1.2 行为检测研究现状2 1.2.1 传统行为识别技术概述2 1.2.2 机器学习在行为检测中的应用4 1.3 论文的主要研究内容5 1.4 论文的结构布局6 1.5 本章小结6 第二章 行为识别算法理论介绍7 2.1 行为识别常用数据集7 2.2 基于机器学习的行为检测算法综述 10 [36] 2.2.1 基于双流网络的行为检测 11 2.2.2 基于3D 神经网络的行为识别 12 2.2.3 TSN 时间段网络 12 2.3 机器学习基础理论介绍 13 2.3.1 神经网络基本结构 13 2.3.2 神经网络的前馈预算 19 2.3.3 神经网络的反馈运算20 2.4 经典网络模型介绍21 2.4.1 Alex-Net 网络模型21 2.4.2 VGG-Nets 网络模型22 2.4.3 Network-In-Network 22 2.4.4 残差网络模型22 2.5 本章小结25 第三章 融合骨架信息的卷积神经网络26 3.1 融合骨架信息的卷积神经网络简介26 3.2 注意力机制的设计29 3.3 骨架关节点信息的提取30 3.4 网络的训练和测试32 3.4.1 数据扩充32 3.4.2 数据预处理33 3.4.3 网络参数初始化34