中文题目-国家创新创业训练计划-北京交通大学.DOC

双页码 计算机应用研究 2006年 国家级大学生创新创业训练支持项目（2016A65281） 作者简介：夏涛（1995—），男，甘肃天水，电气工程及其自动化专业，2014级，研究方向：电气工程 基于Kinect的动态手语翻译系统的研究* 吉林大学 夏涛，邵晶雅，刘怀宾 (仪器科学与电气工程学院，吉林省长春市 130000) 指导老师：千承辉 高级工程师 中文摘要:为实现基于Kinect的手语识别，提出了一种利用有限状态机及动态时间规整（DTW）的动态手语识别方法。首先，利用Kinect技术得到人体深度图像和骨骼特征信息；然后利用手部分割算法得到手部深度图像，再选取识别正确率高的HOG特征算子来提取手部特征；最后加入有限状态机及DTW算法实现动态手语识别。实验结果表明，该方法能够实现对常用手语单词、句子的识别，识别准确率可达95％。 英文摘要: In order to realize sign language recognition based on Kinect, a dynamic sign recognition method using finite state machines and dynamic time warping (DTW) is proposed. First, the Kinect technology is used to get the depth image and skeleton feature information; Then the hand depth image is obtained by using the hand segmentation algorithm, and then the characteristics of the hand are extracted by using the HOG feature operator with high accuracy. Finally, the finite state machine and DTW algorithm are added to realize dynamic sign language recognition. The experimental results show that the method can achieve the recognition of normal sign words and sentences, and the accuracy can be up to 95%. 关键词:手语识别；Kinect；动态时间规整算法；HOG特征；有限状态机 引言 手语作为最原始的信息交流方式，在虚拟环境和人机交互等领域广泛应用，它可以使听力障碍者获得有用信息，且可以在特殊工作环境中实现工作平台的非接触式操作 [1]。 手语识别一直是计算机视觉领域的研究热点，Hyeon-Kyu Lee的研究团队使用自创的PowerGesture系统，通过手势控制幻灯片的放映[2]；富士康实验室完成对常用手势进行匹配[3],利用传统摄像头采集彩色图像进行处理，但因摄像头本身的技术参数易受环境影响，只能实现简单手语的识别；2010年微软研发了Kinect技术，具有识别人体骨骼图像、3D动态轨迹等技术优势，使手语动态识别领域有了新的飞跃[4-5]；2012年香港中文大学基于SVM的方法设计了一种手势翻译系统,其采用对特征关节坐标进行学习分类的方式，较好的完成了对于手语单词的识别[6]；2013年X.chai等人利用Kinect对手势轨迹进行三维重构完成日常手语识别[7]。 本文通过对四种手部特征提取算法的比较和实验结果分析，得出HOG特征算子具有较高的准确率，并在此基础上加入有限状态机及DTW算法来实现手语识别。 一、手部特征数据的提取 （一）Kinect多传感器图像数据的获取 Kinect中部的RGB摄像头和两侧的深度传感器通过空间建模、骨骼信息追踪技术可得到RGB彩色图像、深度图像、人体骨骼图像，如图1所示[8]。利用Kinect得到三种图像，引入手部分割算法得到精确的手部区域，通过加入手语识别算法对手部特征信息进行处理，完成手语识别系统的建立。 图1 手部信息采集系统框图 （二） 手部形态信息及运动轨迹的提取 常见的动态手语可以通过两方面来表征，一是动态手语所经过的3D轨迹，二是其标志性静态手语形态数据[9]。手部截取是静态手势识别的第一步，首先利用Kinect得到人体骨骼特征与深度图像，然后通过手部分割算法进行手掌轮廓截取，最后通过肤色识别、