手势识别中手分割算法.docVIP

手势识别中手分割算法 　　摘要：首先分析了手势分割存在的技术难点及人进行手势分割过程中可能使用的特征，然后分析比较了现有手势分割算法的基本思想和特点，最后介绍了深度学习技术并总结了手势分割未来的研究方向。 　　关键词：RGBD；手分割；手势 　　中图分类号：TP317.4 文献标识码：A DOI：10.3969/j.issn.1003-6970.2015.04.019 　　0.引言 　　手势是一种不需要中间媒介的，非常人性化的人机交互方式。手势识别已经成为人机交互的重要内容和研究热点。基于视觉的手势识别系统通常包含手势分割、手势建模、手势形状特征提取、手势识别几个过程。其中，手势分割就是将感兴趣的有意义区域，即手势从传感器获取数据中划分出来。这是基于视觉的手势识别过程中的第一个步骤，也是关键的一步。分割的准确度和实时性能直接影响到后期的识别效果以及整个交互系统的性能。 　　传统的基于视觉的手势识别系统利用摄像头作为传感器。单目或双目视觉系统手势图像数据，通过图像处理进行手部分割，算法复杂且需要巨大的计算量。Kinect是微软推出的一款传感输入设备，不仅可以获取场景的彩色纹理信息，也可以获取场景的深度信息。利用这些信息可以更加快速有效的进行手势分割。 　　本文首先分析了手势分割存在的技术难点及进行手势分割过程中可能使用的特征，然后分析比较了现有手势分割算法的基本思想和特点，最后介绍了深度学习技术并总结了手势分割未来的研究方向。 　　1.手势分割的技术难点 　　由于图像背景和手势本身的复杂性，实际生活中，光照的颜色、亮度都会产生各种变化，而背景物体的移动、摄像头的移动、手势运动产生的高光和阴影、类肤色区域的干扰等，都给手势的稳定和准确分割带来了困难。 　　人类的视觉系统在任何条件下都能够较为准确的认出感兴趣的区域。人类视觉系统机理的认识仍有待提，还没有统一的理论可以指导传统的图像分割方法进行改进。同时在复杂的手势特征的先验知识获取方面，还没有既满足实时性又满足准确性的方案。 　　2.手势分割的特征 　　手分割问题，可以看作是一个在Kinect传感器获得的RGB图像和深度图像中的手像素或非手像素标记问题。这里，我们将RGB图像和对应的深度图像数据定义为： 　　其中，color为位置（i，j）对应的颜色信息，按照某种颜色空间定义，depth为该位置的深度信息， 　　进行手分割时，必须对Data加以处理，提炼特征。通过调查以往的研究文献，总结出以下特征： 　　（1）人体的拓扑结构：和人体某一局部图像相比，人们更容易从人体的整体图像中确定手的位置。这是因为人类所具有的人体的整体拓扑结构知识。这个知识只提供给手部区域的大致方位。 　　（2）距手心距离：通过手的形态学知识，人类可以推断当距离手心距离小于某个值，肯定属于手部区域，如果大于某个值，肯定不属于手部区域； 　　（3）肤色和深度：虽然肤色易受到人种，光照等的影响，手部区域在深度图像或者彩色图像上虽然其整体上有可能并不均匀一致，但是其在较小的局部范围内应当保持一定的连续性，而非手部区域的边界像素与相邻背景区域像素具有较大的变化； 　　在进行手区域判断的时候，人类往往不是仅基于某种单一特征，而是多种特征的融合的决策。每个特征在决策过程中起到不同的作用，对一个手的不同位置起到的效用有可能也不一样。 　　3.手势分割算法 　　手势的检测分割包括两部分：一是检测定位，指从图像中确定有没有手势出现，找到手势所在区域；二是手势分割，将手势区域从画面中提取出来，去除背景的干扰。这两部分一般都是同时进行的。传统的基于视觉的手势分割方法主要有基于肤色的手势分割方法、基于运动的手势分割方法、基于轮廓的手势分割方法等。 　　肤色是手势最为明显的特征之一，然而，在实际应用中由于手势和背景环境的复杂多变，光源亮度和位置的变化、有色光源产生的色彩偏移等，都会引起肤色的变化，手部弯曲和反转等形变，也会使得光源角度和阴影发生变化。这使得整个手部区域的肤色可能并不一致，甚至有较大的差异。针对这些问题当前研究者们在传统肤色分割方法的基础上，采取了很多改进方法，主要有三种：在分割前对图像颜色进行校正；提出新的颜色空间；结合其他运动差分、轮廓、几何特征等其他分割方法。 　　基于轮廓的手势分割存在两个棘手问题：一是由于手部旋转或弯曲等因素使得初始轮廓的获取较难；二是由于手势的形状本身存在深度凹陷区域，而轮廓对此类区域往往无法收敛到。改进模型所增加的迭代次数和计算量的代价使得实时性能下降。 　　基于运动的分割方法主要分为是帧差法和背景差分法。帧差法利用相邻图像帧之间的差分来判断前景中是否有运动对象产生；而背景差分法首先对背景图像建模，通过比较背景图像和含有手势的图像分割出前景。