基于的kinect深度检测手势地方法.pdf

实用标准文案 一种使用深度传感器检测手势的方法 摘要 深度传感器，包括 Kinect 和 Xtion ，为未来的人机交互开创了可能性，即使现在已经有使 用深度传感器检测人体骨骼和姿势的成熟技术， 但是在检测手和识别复杂手势方面仍然存在 没有解决的问题， 因为手仅仅占据深度传感器形成图像的一小部分， 因此， 手的细节比较难 提取出来。 在这篇文章中，我们提出了一种检测手势的新的方法， 它能够实现如下功能： 1， 通过肤色分割和 K 均值聚类来分割手； 2，找出形成手形状的凸包点和轮廓； 3. 检测每个手 指的位置； 4. 用一套已检测出的收数据来代表手势。 一系列应用证明， 我们提出的方法具有 鲁棒性和有效性。 介绍 在人机交互（ HCI）中，确定无疑，手和手指的识别是一个有前途的部分，特别是在某 些方面。比如，在医疗系统中，手势能够确保更有效的手术 [1] ；在计算机游戏中，通过指 尖控制将会不可避免的多触摸设备 [2] ；在人机器人交互中，手势也是指导机器人的一个重 要部分 [3] 。 作为一种经济实惠的选择，深入细致的研究普遍流行且廉价的摄像头（如 Kinect 和 Xtion 等），然而，基于这种传感器的研究大都是全身运动研究（比如步行，跳跃） [4][5] 。 比如 Jamie Shotton, et al. 在[4] 中所陈述那样，他们把整个骨骼分成几部分，然后将计 算部分因子映射到骨骼关节点上， 以此来实现骨骼追踪。 但是对于小规模的识别， 比如手和 手指，仍然没有解决。基本上说这是一个低分辨率的深度传感器设备（传感器 [6] 的分辨率 是 640*480 ），使得检测我们的手和手指比较困难，进而导致识别的不准确性。为了更精确， 需要一些相当严格的条件 （比如照明和杂乱背景） 来捕获一副图像，否则， 不能够保证手检 测的稳健性， 并且这些限制会极大的影响最终的结果。 在虚拟现实中， 解决这种问题的传统 方法是使用一个数据手套 [7] 或其他可穿戴的触觉传感器。 正如 Valentino Frati 在 [8] 中所 提及那样，可穿戴触觉能够和 Kinect 协调工作来获得手指位置，但是附属装置比较昂贵， 可能会引起手势的不自然，这会为这个研究的实际应用造成障碍。 在我们的研究中， 我们采用微软的深度感受摄像头， 但是必须注意到， 任何深度感应相 机都是可以接受的，比如 ASUS Xtion Pro 。作为一款游戏控制器，微软的 Kinect 在 2010 年推出，包括 RGB彩色摄像头和深度传感器。 Kinect 不仅应用于计算机游戏，还可以应用 于其他领域，比如物体追踪和手势识别。 据我们所知， 尽管先前工作中的手势识别已经取得了很大的进步， 但是仍然不能令人满 意。比如，大部分传统的方法需要一个训练过程和一个数字图像分析 [9][10] ，这将需要很 长的阶段，并且结果将会被直接限制在数据组中。尽管 Zhou Ren,et al. 在 [11] 中所提的基 于手势识别实现的 Earth Mover ’s Distance (EMD) 方法相当新颖，但是事先收集数据的要 求是一个不能忽视的缺陷。 而且 [11] 中的结果对手指深度参数比较敏感，