基于Kinect的手势图像分类器设计-计算机科学与技术专业论文.docxVIP

Classified Index: TP391.4 U.D.C.: 681.39 Dissertation for the Master Degree in Engineering KINECT BASED CLASSIFIERS DESIGN FOR HANDS IMAGES Candidate： Yang Gao Supervisor： Prof. Debin Zhao Academic Degree Applied for： Master of Engineering Specialty： Computer Science and Technology Affiliation: School of Computer Science and Technology Date of Defence： June, 2014 Degree Conferring Institution： Harbin Institute of Technology 摘 要 手势识别具有非常广泛的应用，是计算机视觉领域的研究课题之一。很多 传统的手势识别方法主要依赖于数据手套等辅助设备，或者是基于传统意义上 的彩色(RGB)图像上的手势识别，不能获得更多超过2D图像以外的信息。而 Kinect设备的问世为我们采集深度图像提供了便利性。本文的主要研究目的在 于基于Kinect平台上设计并实现一个手势图像分类器，能识别出基本的几种手 势。在本文中分类器我们采用两种方法：一种基于随机森林(Random-Forest)算 法，人工设计特征，采用了传统图像特征领域的几种特征，如HOG，LBP等结 合的方式；另外一种则是基于深度学习(Deep Learning)算法，采用自主学习特 征的方式，并在顶端引入分类器进行识别。具体而言，本文的研究工作主要在 以下几个方面： 1：对通过Kinect采集得到的视频流进行处理，得到手部彩色(RGB)图像以 及深度(Depth)图像作为实验数据集； 2：对于初步得到的数据集进行预处理，通过骨骼点等信息去除掉背景噪声， 优化手部图像使之更易于处理； 3：根据研究需要人工进行了相应的特征设计，HOG，LBP等特征参数的选 取，并根据这些特征设计随机森林进行手势图像识别，取得了不错的效果； 4：基于深度学习算法设计自主特征学习模型，并在整个网络顶端引入分类 器进行手势图像识别； 5：对两种分类器得到的实验结果做比较与分析。 我们利用手势连续动作视频流提取到了大量正面手势图像，使用深度学习 方法在测试数据集识别率达到了81.0%，在训练数据集合上得到了89.17%的识 别结果；使用随机森林方法在测试数据集合上取得了76.01%的结果，在训练数 据集合上得到了89.01%的结果。 I - 在训练数据集合上两种方法得到的结果不相上下，这两种算法都具有很强 的分类能力，算法是有效的；在测试集合上得到的结果使用深度学习算法进行 分类要比使用随机森林方法进行分类效果要优一些；证明了新兴的深度学习算 法在特征自主学习方面是很有效果的。 关键词 深度学习；随机森林；手势识别；Kinect； II - Abstract Pose recognition has been widely used on many applications, as one of the basic research topics in computer vision area. However, a lot of traditional pose recognition methods are based on some helpful device such as data gloves , or these methods use the traditional camera that cannot provide more information than 2D Image. Fortunately, the 3D-Camera called Kinect brings us convenience in collecting depth images. So that, in this paper, our goal is to build a pose recognition classifier platform based on Kinect，on which some basic posture can be easily recognized. We use two method on classifying the hands gesture: One is based on Random-Forest, and in this part