基于kinect深度信息的动态手势识别 gesture recognition based on kinect depth information.pdfVIP

第36卷第2期　 东 北 电 力 大 学 学 报 Vol.36,No.2 2016年4 月 Journal Of Northeast Dianli University Apr. ,2016 - - - 文章编号:1005 2992(2016)02 0090 05 基于Kinect深度信息的动态手势识别 1 1 2 郭晓利 ,杨婷婷 ,张雅超 (1.东北电力大学 信息工程学院,吉林 吉林 132012;2.国网吉林省电力有限公司吉林供电公司,吉林 吉林 130021) 摘　 　 　 要:针对复杂动态手势识别问题,本文首先通过体感传感器Kinect获取人体深度图像,利用阈 值分割法分割出手势深度图像,然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的 - HMM FNN模型进行动态手势识别。 本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势 - 来进行人机交互研究的。 HMM FNN模型将复杂动态手势特征分解为三个子特征序列,分别建立HMM - 模型,然后进行模糊推理对手势进行分类识别。 经实验验证,HMM FNN模型能快速有效识别复杂动态 手势,且鲁棒性强,识别效果明显优于HMM模型。 - 关 键 词:Kinect;阈值分割法;复杂动态手势;HMM FNN;手势识别 中图分类号:TP391　 　 　 　 文献标识码:A 由于手势具有自然、直观的特点,手势交互成为人机交互中对用户限制最少的交互模式,目前,基于 - [1 2] 视觉的手势识别在体感游戏、机器人机械手的抓取等方面得到越来越广泛的应用 。 体感传感器Ki- nect是微软公司推出的外接体感设备,可以同时获取RGB 图像和深度图像,逐渐成为基于视觉手势识 别的重点研究对象。 开源软件OpenNI定义并形成标准的API,可以方便的访问和使用Kinect设备,但 [3] 它只提供了单击、挥动、举起、移动4 种简单的手势 ,不能满足用户利用自然手势进行人机交互的需 求,这就需要丰富扩展其手势集。 近年来,基于Kinect 的手势识别研究也成为热点,文献[4]采用隐马尔科夫模型HMM进行动态手 势识别,HMM能对手势轨迹进行有效识别,但是只针对相对简单的动作手势;文献[5]采用加权的动态 时间规整DTW算法进行手势识别,训练过程简单,但实验计算量大,且识别过程容易受周围人手的干 扰。 本文使用Kinect体感传感器建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的复合 - 手势识别模型HMM FNN,它将高维手势特征分解为3个低维特征序列,根据其特征分别建立HMM模 [6] 型,同时结合FNN 的模糊推理能力,进行动态手势的识别 。 本文采用虚拟变电站中仿真人员对变电 站设备的常用动态操作手势进行模型训练,实验发现该复合模型能快速准确的识别复杂动态手势,并有 效降低系统复杂度,减少计算负担。 1　 深度图像的获取 Kinect 的CMOS红外传感器可以感知外界,通过红外激光散斑的感应获得深度信息,能够不受环境 [4]