基于深度学习的手势识别技术研究.pdfVIP

摘要 摘要 手势交互是现在人机交互中主流的方式，也是多种人机交互中的研究热点。手势交 互从之前依赖于数字手套，肌电等外接硬件设备，到现在逐渐发展成使用计算机视觉算 法来解决手势交互中的问题。基于计算机视觉的手势交互方法不需要借助外界设备，符 合人们日常与计算机的交互习惯，在其中最需要解决的问题就是如何提高手势识别的准 确率和速度。而近几年，深度学习的迅速发展，使得计算机视觉内很多问题都得到了很 好的解决。因此，本文将深度学习的相关方法应用于手势识别问题中，解决了复杂环境 及受人脸等物体干扰的情况下的手势识别，并且提出了一些改进方法，对相关算法的速 度进行了提升。 本文分析了多种传统手势分割算法，针对传统手势识别算法存在的问题，如易受到 复杂外界环境干扰，对手势高自由度，容易形变等特性不具有鲁棒性等缺点，提出基于 全卷积神经网络的手势分割算法。卷积神经网络通过网络学习丰富的特征，代替手工设 计特征，因此基于全卷积网络的分割准确率相对与传统方法有了很大的提升。本文还对 全卷积神经网络的网络结构进行进一步优化和改进，将网络结构压缩为四层卷积层和一 层反卷积层，最终得到的网络模型真正率为 93.8%，假正率为 5.3%，网络在 GPU 下运 行速度为 18m ，满足人机交互的实时要求。整个模型能够处理如人脸等类肤色物体对 手势分割结果的影响，对不同环境，不同光照，不同角度的手势具有较高的鲁棒性。 本文对传统手势识别系统的各个模块进行了研究，指出传统手势识别的结果依赖于 其他模块的准确性，整个系统容错性不高，准确率较低，易受到复杂环境，手势变化等 因素的干扰。针对这一系列问题，本文设计了一种基于目标检测网络的手势识别算法。 该算法在一张图像上同时完成对手势类别和位置的密集预测。本文还对网络结构进行了 改进，将前置基础网络进行拆分并化简为小网络。在使用网络检测出手势之后，使用跟 踪算法，实现了基于跟踪的手势检测。使用改进的网络后，单张图片的检测时间为 110m ， 识别准确率为 81.2%，在此基础上使用基于跟踪的检测方法，整个算法平均检测速度为 33m 每帧。实验证明，该算法解决了复杂环境，人脸等身体部位等因素对识别的干扰， 对手势的高自由度，形变等具有鲁棒性，能够实时跟踪检测手势，满足了实时手势交互 的要求。此外，本文还建立了一套具有高质量的、像素级的手势分割数据集和手势检测 数据集，用于对本文提出的网络进行训练和测试。 关键词： 人机交互，手势分割，手势识别，深度学习 I 目录 Abstract Gesture interaction is the mainstream way of human-computer interaction, and it is also the research hotspot of many kinds of human-computer interaction. Gesture interaction used to rely on external hardware devices such as digital gloves, EMG, but recently it has gradually developed to use computer vision algorithm to solve the problems in the field of gesture interaction. The gesture interaction method based on computer vision does not need external equipment, which accords with persons interaction habits with computers. The most important problem to be solved is