基于深度相机的三维手势识别算法研究及实现-信号与信息处理专业论文.docxVIP

I万方数据 I 万方数据 摘 要 摘 要 随着基于三维视觉的人机交互技术已成为计算机视觉和人工智能等热门研究领 域的重要技术，手势作为一种日常、自然、简便的交互手段，其识别技术具有重要的 研究意义和广泛的应用前景。本课题主要研究基于深度相机的三维手势识别系统，实 现复杂背景下的静态手势识别和动态手势识别，该系统主要包括基于深度相机的手势 分割和跟踪、手势特征提取、及手势识别部分。 本文的主要研究工作包括以下几方面： 1.提出一种改进型的 OpenNI 骨骼跟踪与感兴趣区域(ROI)阈值界定法相结合的手 势分割算法。该算法能快速、准确的提取出复杂背景及环境多变条件下的手势区域， 有效的避免复杂背景和不同光照等因素干扰，具有较高的鲁棒性。实验结果表明，与 基于灰度直方图的分割方法相比，该算法可以更准确、快速的实现手势分割。 2.提出一种改进型的速度矢量预测与三维空间中的卡尔曼(Kalman)滤波器相结合 的手势跟踪算法。该算法有效解决了骨骼跟踪获取信息时产生的延迟对手势跟踪效果 影响较大的问题，有效提高了手势跟踪的准确率。实验结果表明，与原有的骨骼跟踪 算法相比，改进后的算法有效的提高了跟踪的准确率和稳定性，具有较好的跟踪效果。 3.在特征提取部分，针对不同识别对象，本文提取手势轮廓、凸包及 Hu 不变矩 等表观特征，通过特征点检测与手势的模板匹配，完成实时静态手势识别，并利用识 别结果辅助实现动态手势识别过程。针对动态手势，本文提出一种改进型 72 方向的 Freeman 链码对三维空间中的手势轨迹进行离散化。实验结果表明，改进后的链码特 征优于传统 Freeman 链码，它能多方位、更立体的表示动态手势。 4.在动态手势识别部分，采用隐马尔科夫模型(HMM)，创建动态手势的隐马尔科 夫过程，对手势样本进行实时识别，其识别结果均在 92%以上。 最后，在 Microsoft Visual Studio 2008 编程环境下利用基于深度相机的三维手势 识别系统中的主要技术实现 PC 机上鼠标、PPT 的简单操作，实验证明该系统能很好 的应用于人机交互平台中，实现了手势交互技术的应用。 关键字：深度相机；三维手势识别；OpenNI 骨骼跟踪；卡尔曼滤波器；Freeman 链码；隐马尔科夫模型 II万方数据 II 万方数据 Abstract Abstract As stereo vision-based human-computer interaction(HCI) technology has become a hot research field of computer vision and artificial intelligence. The gesture, as a routine, natural and convenient means of interaction , its recognition technology and application has important research significance and application prospects. This paper main studies the real-time gesture recognition system based on depth camera, we mainly work out static gesture recognition and dynamic gesture recognition under the condition of complex background. This system consist of gesture segmentation and tracking, feature extraction, gesture recognition using depth camera. This paper main research work include the following aspects: We proposes a combined OpenNI skeletal tracking with Region Of Interest (ROI) threshold defined method of gesture segmentation modified algorithm. This improved- algorithm can accurately extract the hand gesture region under the condition of variable environment or complex background in real-t