基于Kinect深度信息的手势识别研究-通信与信息系统专业论文.docxVIP

A Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering Hand Gesture Recognition Based on Depth Information with Kinect Sensor Candidate : Fangzi He Major : Communication and Information System Supervisor : Prof. Wenyu Liu Huazhong University of Science and Technology Wuhan, Hubei 430074, P. R. China May, 2015 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本论文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承 担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 (请在以上方框内打“√”) 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘 要 近年来，手势识别由于其广泛应用于虚拟现实、计算机游戏和手语识别等方面 而成为人机交互领域中的热门话题。传统的手势识别方法根据捕获图像设备的不同 可以分为两大类型。第一种类型是基于数据手套的手势识别。该方法使用不方便， 并且可能阻碍手势的自然关节，因此不是一个非常受欢迎的手势识别方法。另一种 类型是基于光学传感器的手势识别。然而，该方法敏感于光照条件和背景，限制了 它在真实世界中的应用。 深度传感器 Kinect 的出现，为基于视觉的手势识别提供了新的机会。使用 Kinect 传感器可以鲁棒地检测和分割人手。尽管最近许多基于 Kinect 的方法成功用于人体 跟踪和人类动作识别，使用 Kinect 进行手势识别仍然是一个开放的问题，该项技术 在人机交互中的应用也具有很大潜力。本文利用 Kinect 的深度信息进行静态和动态 的两种手势识别技术的研究，主要工作和贡献为： 1、提出了基于部分的静态手势识别算法。现有使用 Kinect 的基于部分的静态手 势识别算法通过深度信息分割出手势，使用形状分解方法检测到手指，再采用手指- 陆地移动距离 FEMD 作为相异性度量来匹配手指部分。然而，FEMD 敏感于手指部 分的变化，因此，本文对该算法提出了两方面的改进。首先，提出了改善的 FEMD 距离以削弱手指部分变化和噪声的影响。然后，提出一个新的基于离散曲线演化的 手势形状分解方法准确而有效地分割出手指部分。定性和定量的实验结果都表明本 文基于部分的手势识别算法可以实现目前最好的性能。 2、提出了一种基于深度投影图的静态手势识别算法。大多数现有的工作仅使用 Kinect 采集的深度图去分割出手势，却没有充分利用深度图传送的形状信息。本文 设计一种新的特征描述符来有效地从深度图捕捉和编码手势的形状信息，并提出一 种基于该特征描述符的静态手势识别算法。首先，获取手势在三个正交平面上的投 影图，生成深度投影图。然后，提取三个投影图的轮廓片段包特征，并级联成原始 深度手势的特征向量。最后，对手势进行分类。实验结果表明，本文提出的基于深 度投影图的静态手势识别算法识别准确率高，能有效克服杂乱背景、自遮挡以及其 他不利因素的影响。 3、提出了一种基于深度运动图的动态手势识别算法。考虑到动态手势的深度序 列携带了丰富的形状和运动信息，本文设计一种新的特征描述符来表征手势，并提 出一种基于该描述符的动态手势识别算法。首先，深度序列的每一帧都被投影到三 个正交平面上。然后，通过计算和阈值化连续帧投影图的差异来得到运动能量的二 值图，并积累整个深度序列的运动能量二值图来产生深度运动图。接着，提取深度 运动图的方向梯度直方图特征，并级联为动态手势深度序列的表达。最后，对手势 进行分类。实验结果验证了基于深度序列的动态手势识别算法的有效性。 关键词：手势识别、Kinect 传感器、手指-陆地移动距离、深度投影图、深度运动图 Abstract