基于Kinect骨骼信息和改进重心距离法的指尖识别.docxVIP

基于Kinect骨骼信息和改进重心距离法的 指尖识别 ：针对肤色识别易受环境影响问题，提出了一种基于 Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首 先采用微软Kinect摄像头获取人体骨骼信息，并将双手坐 标点的三维信息转换成彩色图上的二维信息进行手掌区域 的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从 背景图像中分割出来。最后针对重心距离法鲁棒性差的特点 提出一个改进因子。实验结果证明，该方法可以高效地检测 出手指的指尖位置，识别出人体的手指。实验结果表明该方 法能有效排除类肤色区域和手指轮廓不足对指尖检测造成 的影响，具有较高的检测精度。 关键词：骨骼跟踪；指尖识别；Kinect 中图分类号:TP18文献标识码：A文章编号:1009-3044 (2014) 22-5287-04 在与计算机、手机等智能设备进行人机交互过程中，手 都起到了非常重要的作用。随着计算机技术的飞速进步，但 是鼠标、键盘作为传统的人机交互设备从第一台计算机应用 以来仍然占据着主导地位。最近，一些革命性的控制器和传 感器被发明，用于实现更自然的人机交互，例如数据手套， 触摸显示屏、语音合成器、位置跟踪器等等。用户为了获得 较高的精度不得不与设备的不便和束缚想妥协。手部的方 位、运动、姿势都包含了重要的人机交互信息[1-6],因此 手部识别提供了一种非常诱人的人机交互方法，由于其具有 不依赖复杂的硬件设备的有点，拥有广泛的应用前景和研究 价值。为了让计算机能理解我们手的行为，首先必须让计 算机能够“看到”它，国内很多学者展开了基于单目机器视 觉的手势识别研究[7-14] o 随着微软体感周边外设Kinect的推出，让我们有机会 采用比较低的成本实现三维空间中用户及手的识别，从而 让大众都有可能享受到便捷的人机交互方式。该文利用 Kinect传感器的骨骼跟踪技术，从复杂背景下首先提取出 手部图像，然后利用手部肤色一致这一特征提取出手部的外 围轮廓，最后通过改进重心距离法来提取出指尖位置。 1算法描述 本文采用了微软公司的Kinect外设作为用户信息采集 手段。程序分为三个模块，分别是手掌提取、轮廓提取和指 尖识别。三个功能模块顺序执行来完成指尖的最终识别。 1手掌区域提取 指尖识别的第一步是获取用户手掌所在的图像区域，基 于机器视觉的获取方法首先要消除背景信息和自身其他肤 色如脸部和手臂的干扰。Kinect传感器可以同时获取RGB彩 色图像和深度数据，使用微软提供的Kinect SDK程序可以 从Kinect骨骼数据流中获取骨骼三维坐标信息。将坐标信 息映射到获取的彩色图像上，对于关节点用圆形显示，各个 关节之间用直线连接。将用户的骨骼信息绘制到彩色图像上 以判断获取的骨骼信息是否正确。 边界提取算法如下：从深度图像中提取出人体的双手的 三维坐标信息，以投射到彩色图像平面的坐标点（x, y）为 中心，设定一个初始最大正方形边长乘以一个距离系数来获 取手部区域。距离系数=1-Duser/Dmaxo其中Duser是测试 者手部与Kinect探头之间的距离，Dmax是Kinect的最大有 效探测距离。根据该公式，获取的用户手部区域会根据用户 的远近进行动态变化以有效提取手部。图1是测试者距离 Kinect探头的距离在1.3m的骨骼信息和手掌提取测试截图, 经过实验验证设定的矩形区域边长为80像素可以完整包围 手部。 1.2轮廓提取 手部提取获取的是一个包含手掌轮廓的矩形区域，指尖 识别的第二步就是从该区域中提取中手掌的外部轮廓，为指 尖识别做准备。考虑到手部特征Kinect彩色摄像头提取到 的主要特征有颜色和形状这两种最明显的特征［15］。形状是 指手部特有的形状手指从手掌向外延伸，但是手势人体最灵 活的部分，它具有高度自由，从而导致手型有多重变化，因 此很难找到一个特征提取的规律，而颜色也就是肤色，不但 容易识别而且非常均匀，容易识别。肤色提取仅仅需要对检 测图像中符合的颜色进行提取。 基于肤色的手部提取是利用人体的肤色特征，该方法不 受目标位置、角度和大小的影响，具有较强的稳定性。在手 部识别中，由于手部肤色在背景中突出且颜色均匀，肤色作 为手部的重要特征可以作为检测手部的识别条件。在肤色判 定之前，需要确定使用的颜色空间，并且在颜色空间中建立 肤色模型。在得到手部图像后使用OpenCV的canny算子得 到手部的外轮廓边缘，并将轮廓的重心作为掌心。图2中所 示是将提取的手掌区域经过肤色提取、canny算子和重心提 取的过程截图。 1. 3指尖识别 指尖识别使用的是如图3所示的重心距离法[16],红色 点是手的重心，那么手的边缘的所有点与重心点的距离按顺 时针方向或者逆时针方向遍历，将出现峰值的轮廓点作为指 尖的候选点。根据手指特