复杂背景下基于视觉的手势检测与识别算法研究-计算机应用技术专业论文.docx

The Research of Vision-Based Hand Gesture Detection and Recognition Algorithm in Complex Background A Dissertation Submitted for the Degree of Master Candidate: Sui Yunheng Supervisor: Prof. Guo Yuanshu Chang’an University, Xi’an, China i i 摘 要 基于视觉的手势识别技术是自然人机交互方式中一个非常重要的研究方向，在虚拟 （增强）现实、机器人控制、智能家电、游戏控制以及人机手语翻译等领域有着广阔的 应用前景。但是由于环境的复杂性和手势的多样性、随机性，使得基于视觉的手势识别 仍然十分困难，所以本文着重研究了复杂背景下的手势检测和识别方法。 在手势检测方面，针对实际应用背景的复杂多变性特点，选用人脸排除、肤色分割 和手形比较的方法。由于人脸的存在会影响手势分割的效果，所以首先采用 Viola Jones 方法和 Camshift 算法检测和追踪人脸，然后用大于面部区域的黑色圆圈或者矩形替代排 除人脸。在进行皮肤分割时，提出了改进的自适应肤色模型，该模型融合了 YCrCb 空 间下的阈值法和 HSI 空间下的直方图法，以适应不同光照变化、不同肤色用户以及噪声 干扰的影响。最后，采用基于 Hu 矩的手形比较算法，从分割的皮肤区域中进一步定位 手部区域。 在手势识别方面，提出了融合 Hu 矩和快速鲁棒特征包（BoF-SURF）的手势特征描 述方法，并将融合特征与多分类支持向量机（SVM）相结合进行手势识别。融合特征可 以从手形和内部关键点两个方面表示手势，对手势在尺度、光照、旋转等方面的变化以 及部分遮挡均具有良好的适应性。考虑到这两种特征对手势识别率的影响程度不同，分 别对其设定不同的融合权值，并通过实验确定最佳的权值选择。实验结果表明，将两种 特征融合的识别正确率要高于两者单独使用，通过合适的权值选择可以达到 96.33%的 识别正确率，且实时性更好。 关键词： Hu 矩；特征包模型；SURF 算法；K-Means++算法；多分类 SVM ii ii Abstract The technology of hand gesture recognition based on vision is a very important research trend in the natural human-machine interaction. It has a broad application prospects in many fields, such as the virtual (augmented) reality, robot control, intelligent appliances, the game control, as well as human-computer sign language interpreter. But the complex environment and diversified, random hand gestures make hand gesture recognition based on vision very difficult. So this article focuses on the hand gesture detection and recognition methods in the complex background. For hand gesture detection, the method combining face excluding, skin-color segmentation and hand shape comparison is selected in the paper. The skin-color segmentation and hand shape comparison methods are susceptible to the interference of face. Firstly, the Voila Jones method and the Camshift algorithm is used to detect and track face in paper, and then the black circles or rectangles that is greater than the facial area are used to replace and exclu