复杂背景下实时手势跟踪和识别系统研究与实现-信号与信息处理专业论文.docx

摘要 摘要 I万方数据 I 万方数据 摘要 近几年随着计算机技术的迅猛发展，人机交互技术逐渐成为计算机视觉领域的研 究热点。作为一种新颖、自然、直观的人机交互手段，手势识别技术有广泛的应用前 景。手势在时空上具有多样性和不确定性，并且人手的自由度大，因此，手势识别技 术是一个极具挑战性的研究课题。 本文研究基于视觉的实时手势识别技术，建立复杂环境下实时手势跟踪和识别系 统。该系统主要包括手势分割、跟踪、特征提取以及手势识别等关键技术。 在系统中给出改进椭圆肤色模型和背景差分法相结合的方法对手势进行分割。对 肤色训练样本集进行均匀化分布处理，以得到更准确的椭圆肤色模型参数。在 RGB 空间中对图像进行颜色均衡后再进行肤色检测，以减少光线引起的图像色彩偏差。然 后将肤色区域与背景差分法得到前景图像做与运算，得到手势区域。 在对手势进行跟踪时，采用预测型 Camshift 算法。该算法引入 Kalman 滤波器， 对 Camshift 算法的搜索窗的质心位置进行预测和校正，得到手势的中心位置。在不 影响实时性的前提下，该算法克服了 Camshift 算法中类手势颜色区域对跟踪的干扰。 根据手势的特点，提取手的 7 个 Hu 不变矩组成特征向量。在手势识别阶段，建 立基于改进模糊 C 均值聚类的 BP 神经网络分类器。对定义的 20 种手势的样本库进 行了仿真试验，测试集的识别率可以达到 90.175%。 最后根据文中介绍的实时手势识别系统的主要关键技术，在 Microsoft Visual C++ 6.0 编程环境下实现了实时手势跟踪和识别系统。将手势应用到人机交互中，利用识 别结果实现对 Excel 的操作。在实时测试中，对 10 种数字手势的识别率总体上达到 80%，可以满足交互系统对实时性和准确性的基本要求。 关键词：手势分割；手势跟踪；Camshift 算法；Hu 不变矩；实时手势识别；BP 神经 网络. Abstract Abstract II万方数据 II 万方数据 Abstract In recent years, with the development of the computer technology, the technology of the HCI(Human-Computer Interaction) becomes the hotpot in the computer vision field. As a natural and direct HCI method, gesture recognition has widely prospect. However, hand gesture recognition based on computer vision is an extremely challenging research subject, as hand gestures are rich in diversities, uncertainty in space,and hand is complex non-grid objects. This paper studys the technology of real time hand gesture recognition, and designs a real time hand gesture tracking and recognition system in the complex background. The system comprises four major key technologies: hand segmentation, hand tracking, feature extraction and gesture classification . In the part of the hand segmentation, the paper described the method combined the color model and frame difference. Distributer uniformly processing to the skin training sample sets can obtain more accurate color model parameter. For the purpose of reducing the bias of illumination variant, color balance is adopted in the RGB space. Then the skin regions and foreground image do the and