基于的kinect深度检测手势地方法.doc

实用标准文案 精彩文档 一种使用深度传感器检测手势的方法 摘要 深度传感器，包括Kinect和Xtion，为未来的人机交互开创了可能性，即使现在已经有使用深度传感器检测人体骨骼和姿势的成熟技术，但是在检测手和识别复杂手势方面仍然存在没有解决的问题，因为手仅仅占据深度传感器形成图像的一小部分，因此，手的细节比较难提取出来。在这篇文章中，我们提出了一种检测手势的新的方法，它能够实现如下功能：1，通过肤色分割和K均值聚类来分割手；2，找出形成手形状的凸包点和轮廓；3.检测每个手指的位置；4.用一套已检测出的收数据来代表手势。一系列应用证明，我们提出的方法具有鲁棒性和有效性。 介绍 在人机交互（HCI）中，确定无疑，手和手指的识别是一个有前途的部分，特别是在某些方面。比如，在医疗系统中，手势能够确保更有效的手术[1]；在计算机游戏中，通过指尖控制将会不可避免的多触摸设备[2]；在人机器人交互中，手势也是指导机器人的一个重要部分[3]。 作为一种经济实惠的选择，深入细致的研究普遍流行且廉价的摄像头（如Kinect和Xtion等），然而，基于这种传感器的研究大都是全身运动研究（比如步行，跳跃）[4][5]。比如Jamie Shotton, et al.在[4]中所陈述那样，他们把整个骨骼分成几部分，然后将计算部分因子映射到骨骼关节点上，以此来实现骨骼追踪。但是对于小规模的识别，比如手和手指，仍然没有解决。基本上说这是一个低分辨率的深度传感器设备（传感器[6]的分辨率是640*480），使得检测我们的手和手指比较困难，进而导致识别的不准确性。为了更精确，需要一些相当严格的条件（比如照明和杂乱背景）来捕获一副图像，否则，不能够保证手检测的稳健性，并且这些限制会极大的影响最终的结果。在虚拟现实中，解决这种问题的传统方法是使用一个数据手套[7]或其他可穿戴的触觉传感器。正如Valentino Frati在[8]中所提及那样，可穿戴触觉能够和Kinect协调工作来获得手指位置，但是附属装置比较昂贵，可能会引起手势的不自然，这会为这个研究的实际应用造成障碍。 在我们的研究中，我们采用微软的深度感受摄像头，但是必须注意到，任何深度感应相机都是可以接受的，比如ASUS Xtion Pro。作为一款游戏控制器，微软的Kinect在2010年推出，包括RGB彩色摄像头和深度传感器。Kinect不仅应用于计算机游戏，还可以应用于其他领域，比如物体追踪和手势识别。 据我们所知，尽管先前工作中的手势识别已经取得了很大的进步，但是仍然不能令人满意。比如，大部分传统的方法需要一个训练过程和一个数字图像分析[9][10]，这将需要很长的阶段，并且结果将会被直接限制在数据组中。尽管Zhou Ren,et al.在[11]中所提的基于手势识别实现的Earth Mover’s Distance (EMD)方法相当新颖，但是事先收集数据的要求是一个不能忽视的缺陷。而且[11]中的结果对手指深度参数比较敏感，前提条件是，使用者必须事先在演示手的腕部系一条黑色带子。其他捕捉手势的更好办法也有涉及，在[12]中只是用了RGB信息，Matthew Tang在[13]中同时考虑了RGB和深度信息，然而，他的方法只能识别抓和放的手势，并且他不能够得到手指的某种位置和方向，这两种缺点将会明显的影响这种方法的使用范围。Xia Liu, et al. 在[14]中介绍了一种使用深度数据的手势识别的新方法，但是不是使用普遍使用的Kinect传感器，他们使用的装置仅仅局限于他们的实验。 这篇文章中所提到的方法和以上方法不同，结合RGB和深度数据，我们的方法能够检测到手的位置，不用像在[8][11]中使用额外的工具。但是，不是简单地从预处理数据库中匹配大规模数据，我们的方法能够检测手指的位置，这位进一步的姿势项目和界定开创了可能性。借助于这种方法的优势，我们这种方法的最终实现将会为开发者提供开放式APIs，它能够模拟各种手势。 在这篇文章中，我们介绍了一种识别手和手指姿势的新的方法，和其他相关工作相比，我们的工作主要如下：1）识别手掌和指尖位置；2）识别手指方向；3）识别多个手的姿势；4）将会为未来的研究者提供手数据来获得手势的信息，这对于进一步研究特定手势应用的发展将会是一个关键；5）实现这个方法不需要额外的工具，这将会保证使用者的灵活性，并且增加这些方法对于某些领域的使用；6）和其他方法不同，我们的识别方法不基于任何数据库和机械训练。 II手分割 A：通过肤色分割发现手 先前工作中基于深度传感器来检测手势的方法不能够把它输出的RGB图像考虑在内，然而，比深度阶深度帧包含更多的信息，RGB帧能够保证我们找到传感器前方肤色物体的大概位置。在大部分情况下，人类皮肤，比如手，肘和脸的皮肤和周围物体（墙和