基于Kinect传感器和HOG特征静态手势识别.docVIP

基于Kinect传感器和HOG特征静态手势识别 　　摘 要：手势识别是人机交互领域的一种重要手段。针对现有算法识别率低，鲁棒性弱的问题，本文基于Kinect传感器获取的手势深度图像，对复杂背景干扰下的手部区域进行分割，然后利用梯度方向直方图（HOG）对手部灰度图像进行特征提取，最后利用最小马氏距离分类器进行建模、分类，实现静态手势识别。根据Kinect传感器获取的深度信息结合阈值分割法，能够准确地检测手部区域，为后续识别打下良好的基础。而HOG特征适应光照的变化，且具有几何不变矩的特性。实验结果表明，本文提出的手势识别方法在光照变化和复杂背景干扰下具有较强的鲁棒性和较高的识别率。 　　关键词：Kinect传感器；深度信息；HOG特征；手势分割；手势识别 　　DOIDOI：10.11907/rjdk.172288 　　中图分类号：TP301 　　文献标识码：A 文章编号：1672-7800（2018）002-0028-03 　　0 引言 　　手势识别具有直观性、自然性和丰富性的特点，其识别研究引起了人们极大的关注，在人机交互领域成为主流。根据手势采集设备不同，可以分为基于数据手套的手势识别和基于计算机视觉的手势识别。基于计算机视觉的手势识别无需穿戴数据手套，使操作者更加自然地进行人机交互，目前已经成为手势识别的研究重点[1-3]。 　　本文研究对象是静态手势，其识别的一般流程如图1所示。对于一幅输入图像，首先分割出手部区域，其次在手部区域提取某种特征描述子来表示该手势的特性，最后采用某种分类方法对手势进行识别。其中手部区域分割是手势识别的基础，手势轮廓提取的完整度对后续手势特征的提取以及手势识别有很大影响。由于肤色在颜色空间有很好的聚类特性，目前很多成熟的算法都是基于肤色模型来分割手势。例如采用高斯方法，对复杂背景有很好的识别效果，但是高斯模型复杂，计算量大，不适合实时操作。2010年微软推出Kinect外设传感器，可以获取深度图像，根据人手区域与背景区域在深度图像中具有不同的深度值，利用简单的阈值分割法来进行手势区域检测。基于深度图像的手势识别方法受光照和复杂背景的干扰小，成为近年来的研究热点。 　　静态手势识别的各个模块如图1所示，特征提取步骤对手势识别系统的性能有至关重要的作用，同时影响着手势识别的准确率和效率。手部区域特征大致分为三类：低层特征、中层特征和高层特征。低层特征从原始的3维空间域或其变换域产生，Keskin[4]等定义了一种像素点深度特征集合来构造手势特征，这些描述手不同位置信息的特征在一个大的特征空间里匹配起来非常耗时。为了减少训练时间和内存消耗，Kuznetsova[5]等提出使用ESF描述子提取手部区域特征，ESF描述子由点云中随机点的直方图串联构成。除了深度信息、Haarlet系数[6]、Gabor系数[7]和Flusser不变矩[8]也被用来提取有效的旋转和光照不变的手势特征，相对于低层特征的全局性，中层特征通常基于局部描述子。手部区域可以划分成矩形或扇形的细胞单元，所有细胞单元中点的直方图串联起来形成局部描述子。高层特征是指细致的手部轮廓，Ren[9]等用时间曲线表达手部形状，曲线的每一段对应一个手指，时间曲线记录了每个轮廓顶点到中心点的相对距离，同时保存了拓扑信息。Hu不变矩具有平移、旋转、缩放不变性。王先军等[10]利用7个Hu不变矩进行手势识别，取得了较高的识别率，但是他缺乏局部特征描述。Chang等[11]利用CSS描述子对简单手势取得了很好的识别效果，对比较复杂的手势却无能为力，这是由于CSS描述子缺乏全局信息。混合手势特征可以结合不同层次的特征，嵌入局部和全局的信息，例如Liu[12]等人采用了手指、手掌，前臂的平移、旋转和尺度不变三种几何特征。为了评估不同的3维手势特征，Sorce[13]等在不同的照明条件下比较了手部边缘特征与SURF描述子。实验表明：一方面，除非不依赖光照的边缘提取算法，否则利用边缘特征来识别效果很差；另一方面，基于SURF的特征在可选的光照条件下是最好的。这些实验结果能帮助研究者设计更有效的手势识别特征。 　　本文提出一种基于Kinect深度信息，并结合HOG特征方法对静态手势进行识别。首先利用Kinect相机获取的深度图像分割出手势区域，其次提取该区域的HOG特征，最后采用马氏距离对特征进行分类，从而实现手势识别。 　　1 基于Kinect深度信息的手势分割 　　Kinect是微软开发的一款家用视频游戏主机XBOX360的体感周边外设，是一种3D体感摄像机[14]。其有3个镜头，中间镜头是RGB彩色摄像机，左右两边的镜头分别为红外线发射器和红外线CMOS摄影机所构成的3D深度感应器，可以同时获得一个?鼍暗?RGB图像和深度图像。深度图