基于Kinect体感虚拟鼠标研究与开发.docVIP

基于Kinect体感虚拟鼠标研究与开发 　　摘要：利用微软Kinect体感设备进行骨骼数据采集，开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作，实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件，用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。 　　关键词：计算机应用；手势识别；聚类；Kinect 　　中图分类号：TP393.0 　　文献标识码：A 　　DOI：10.3969/j.issn.1003-6970.2016.02.012 　　引言 　　目前电脑主要依靠键盘输入和鼠标点击图形用户界面（GUI）来实现人机互动。Kinect作为微软推出的一种新型体感设备及基于动作和声音感应的体感技术，它创造了一种与众不同的人机互动模式――自然用户界面（Nature User Interface）。基于Kinect体感设备和体感技术，我们身边的电脑将越来越能够理解人类的手势和语言，电脑也将在本质上更具人性化。 　　Kinect提供了一系列新技术，诸如深度传感、骨骼追踪、语音和人体识别等，开创了新的人机界面基础。Kinect首先被应用到游戏开发，譬如赛车、球类运动和虚拟城市等。但游戏仅仅是Kinect应用的一个小方面，它致力于应用到各种不同的设备上面，包括Windows的电脑、电视、手机，来创造新的自然用户界面。不可否认，Kinect已经成为当前学术界和产业界研究开发的热点。 　　本文通过开发体感虚拟鼠标，利用Kinect体感设备进行数据采集，并基于RGB-D（Red Green Blue-Depth）信息进行行为检测、行为识别处理，通过处理其输出的彩色影像串流数据（RGB信息）和深度影像串流数据（Depth信息），并对这些特征数据采用聚类分析算法来获得手掌的位置信息和手臂的运动方向信息来识别用户的手势特征，使得用户可以通过手势操作来控制电脑。 　　1 手势动作识别系统概述 　　1.1 Kinect 　　Kinect是美国微软公司于2010年11月4日推出的Xbox 360游戏机体感周边外设的正式名称，Kinect集成传感器、处理芯片和软件中间件在内。其中，传感器又包括：红外激光（也有人称之为“结构光”），用于三维点云捕捉，像素为640x480，含像素深度；基于点云的彩色影像（像素为1600x1200），能够显著改善视觉效果；可进行语音识别的音频麦克风。这些信号的处理离不开一项核心技术：由PrimeSense公司生产的芯片和软件中间件。其中，软件中间件包括： 　　（1）参考设计（Reference Design），获取三维影像的深度； 　　（2）NITE（Nature Interface Technology Enhanced）中间件，处理深度数据（特征检测和姿势识别）。 　　其产品结构如图l所示： 　　1.2 系统功能模块设计 　　整个系统分为界面显示模块和控制模块，显示模块完成获取的影像显示及交互显示，控制模块负责Kinect相关管理和数据获取，并进行骨骼数据的处理及动作识别的控制，进而完成交互控制。详细的系统功能模块设计如下图所示： 　　从上述功能模块设计可以看出，控制模块是实现系统功能的关键模块，其主要功能是处理由Kinect采集的彩色影像，并进一步处理在二维的RGB图像上增加的Kinect深度信息以形成骨骼数据来研究手势的识别，这与传统的仅仅基于RGB图形信息获得动作手势有所不同。 　　由于微软Kinect SDK并没有包含手势识别引擎，因此需要我们结合实际系统需求与最佳实践来设计一种手势识别方法。 　　2 基于RGB-D信息的手势检测方法 　　传统的基于计算机视觉的技术区分人手掌有一定的困难，通常需要加上一些限制，如使用白色背景，或者让用户穿戴特殊颜色的手套来作区分。这些方法的目的是为了降低分割的难度，提高分割的精准性，但是这种方法对于用户有很大的限制。本文利用Kinect的深度探测技术，首先识别场景中的目标人物手臂，然后利用Kinect进行特征选择，并对特征数据进行处理，最后采用聚类算法获取聚类结果。 　　2.1 目标识别 　　目前用来进行目标检测的方法主要有3种：背景相减法、光流计算法和帧差法。本文采用的是基于深度信息的背景相减法。 　　与传统的背景相减法相同，基于深度信息的背景相减法也是首先在没有目标出现的场景中提取背景模型，只不过提取的背景模型是图像中各个点的深度信息。计算公式为 　　其中，Bk（z）为背景图像上第k