基于深度学习的人体动作识别研究-信号与信息处理专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 人体动作识别因为其广泛的现实应用前景，成为图像处理、计算机视觉、机器学习等领 域的研究热点，但仍然是一个具有挑战性的课题。在人脑视觉机理的启发下，深度学习的提 出使得机器学习取得突破性的进展，也为人体动作识别的研究带来了新的方向。深度学习基 于一系列算法，通过分层非线性转换无监督地获取数据的高层抽象。不同于传统的识别方法 手工提取特征，深度学习能够自动地从低层次的特征中学习出高层次的特征，解决了特征选 取过于依赖任务本身和调整过程耗费时间等问题。本文重点研究在复杂场景下的人体动作识 别及运动视频中时空特征的提取问题，克服环境差异和时间变化给识别造成的困难。本文在 研究深度学习典型模型卷积神经网络和深度置信网络的基础上，提出了具有创新性的人体动 作识别模型。 本文的具体研究工作如下： （1）研究了复杂场景下 RGB 图像中人体的动作识别问题。卷积神经网络由于局部权值 共享和池化的特殊结构，对于特定的姿态、光照、环境杂乱变化均具有不变性，在图像处理 方面具有天然的优越性。因此，本文提出一个改进的卷积神经网络模型，提取 2D 图像序列 中的动作特征，并经过 softmax 回归进行分类。其中，为了更有效的预训练卷积核权值，本 文还利用卷积自动编码器替代传统的后向传播算法进行初始化工作。试验表明该模型有效地 解决了复杂场景下动作识别问题，较传统方法具有更高的识别率。 （2）针对运动视频中的时空特征进行研究。为了使识别方法更具实用价值，本文提出了 一个多分辨率的 3D 卷积神经网络模型。在保留高分辨率的原始输入流的前提下，增加一个 包含动作的低分辨率输入流，形成一个新的双流 3D 卷积神经网络框架。这样既能够利用 3D 卷积核提取连续视频帧中的时空信息，又加快了网络的运算速度。实验证明，此方法无需任 何先验信息取得了和传统算法相近的结果。 （3）前两个研究点均为基于 RGB 图像序列的特征提取方法，第三个研究点则提出了一 个基于 RGB-D 视频数据的识别模型。该模型通过传感器 Kinect 获取深度图像序列，并进行 一定处理获取低层时空信息，再通过一个金字塔型的深度置信网络模型进行高层特征表示。 其中，辅以改进的限制波尔兹曼学习算法，较本文之前的算法极大地减小计算量。实验表明 较其他优秀方法，本文的方法更具有效性和鲁棒性。 关键词: 动作识别，特征表示 ，深度学习 ，卷积神经网络 ，深度置信网络 I Abstract Human action recognition has become a hot spot in the field of image processing, computer vision, machine learning, etc. for its broad application prospect in reality. Deep learning, inspired by the human visual mechanism, has obtained a breakthrough progress and brought a new research direction of human action recognition at the same time. Based on a series of algorithms, deep learning used to acquire the high-level abstractions from data without any supervision, by using multilayered nonlinear transformations. Dif