基于Kinect的体感手势识别系统研究.pdfVIP

基于Kinect 的体感手势识别系统的研究 沈世宏 李蔚清 南京理工大学计算机科学与工程学院 江苏 南京 210094 摘 要：研究了基于 Kinect 的体感手势识别系统中的手部运动特征识别和手势识别算法。基 于 Kinect 骨骼图实现了手部关节点的连续时空追踪，定义了面向自然人机交互的手部运动特 征；提出了利用骨骼图手部关节数据辅助实现深度图中的手部图像分割的方法；采用SVM 方 法实现了三种手势的识别，并与投影模板法进行了稳定性和鲁棒性比较；将识别的手势进行语 义定义和鼠标键盘事件映射，实现对操作系统和应用程序的控制。研究成果应用于网管系统演 示，验证了算法的有效性。 关键词：Kinect；SVM；手势识别；人机交互 1．引言1 在人机交互研究领域中，用户接口的发展经历了早期的命令行接口（Command Line Interface, CLI ）、图形用户接口（Graphical User Interface, GUI ）、鼠标交互、触摸屏等为代 [1] 表的技术进步 。由于语音识别技术，相机技术、传感器技术和计算机视觉的进步，自然 人机接口（Natural User Interface, NUI ）成为了当前的研究热点。NUI 模拟人与人的交互方 式，通常不需要人们再学习新的操作方法，仅通过日常生活中约定俗成的交流方式直接针 对要操作的对象即可完成交互，如人们可以向左挥动手臂，计算机把这个动作识别为向左 移动当前内容；或者人们直接说出“向左”，计算机做出同样的反应。可以看出NUI 减轻 了人们学习人机交互方法的负担，使人们把关注的焦点更多的放在要解决的问题上。 Kinect 是微软公司于2010 年 11 月推出的体感外设，它实际上是一种3D 体感摄影 机，可以实现实时运动捕捉、麦克风输入等功能。人们可以站在Kinect 前做出各种手势来 与计算机交互，为实现 NUI 的交互提供了一个集成了装置。这种方式不仅使人们不再需 要在身体上佩戴各类传感器，而且操作成本也大幅下降，所以基于Kinect 的NUI 开发成 为目前的研究热点。 目前，基于Kinect 的手势识别研究主要侧重于手部运动特征的识别上，例如华中师范 [2 ] 大学的张凯，余新国提出的基于 Kinect 开发用于幼儿教育的手势识别 中，主要研究了 手势的方向向量特征、方向速度特征，浙江工业大学的王万良等人在基于Kinect 的高维人 [3] [5] 体动画实时合成研究 中，也是基于人体高维特征数据而进行研究工作的。Stokoe 第一 次提出了精细手势这个概念，他认为精细手势是由手形、位置、朝向和运动四部分组成。 当前基于Kinect 精细手势识别的研究还不是很多，本文利用骨骼图关节数据辅助深度图实 作者简介：沈世宏(1987-)，男，浙江慈溪人，汉族，硕士研究生，研究方向为人机交互，E-mail ：sshyqw@126.com ；李蔚 清(1974-)，男，河南洛阳人，汉族，博士，硕导， 研究方向为系统仿真、人机交互。 和谐人机环境20 12 中国 广州 现手部从背景中的分割，然后分别采用投影模板匹配和 SVM 方法实现精细手势的识别， 并将两种识别结果进行了稳定性和鲁棒性比较。 2 ．手部运动特征识别 手部运动特征主要是指左右手的向左、向右、向前、向上等手势。我们用这些手势来 操作应用程序一些大的