用于视觉交互系的手势跟踪和识别研究.pdfVIP

用于视觉交互系统的手势跟踪和识别研究 HANDGESTRUETRACKINGANDRECOGNITIONFOR INTERACTIoNSYSTEM 博 士 后 姓 名 柴秀娟 流动站(一级学科)名称 信息与通信工程 专业(二级学科)名称通信与信息系统 研究工作起始时间2007年10月29日 研究工作期满时间2009年7月29日 『卜 产 北京邮电大学人事部(北京) 2009年7月 ■ 内容摘要 随着计算机性能的逐步提高和各领域对计算机使用的不断深入，计算机在 现代社会中的影响迅速扩大，人与计算机的交互活动已经成为人们日常生活中 的一个重要组成部分。手势分析由于其固有的自然、方便的人际交流特性，越 来越受到广大研究人员的关注，成为下一代人机交互技术中的一大研究热点。 本文主要针对基于视觉的手势分割、跟踪、识别等核心问题进行研究，做了如 下工作： 在核跟踪的框架下，对通用的目标跟踪问题进行了研究。借助于高斯核函 数，对尺度选择、目标更新提出了新的解决方案，使得目标跟踪算法对于手势 这种非刚体的运动也能较好的进行跟踪，对于平移、尺度、旋转等变化有很好 的适应能力。在标准测试视频上与传统的跟踪算法进行了比较，并在实时视频 上进行了测试，验证了本跟踪算法的有效性。 基于局部二值模式特征(LBP)，提出了一种分块局部纹理描述子，用来提取 手势图像的纹理特征，进而通过特征向量的匹配，实现鲁棒的手势识别。在传 统方法中，对整幅LBP滤波图像统计直方图，会丢失有效的图像空间结构信息， 而分块的策略，则可以有效的将空间结构信息和局部纹理信息有机的结合起来， 形成更加完备的图像特征表示。在标准数据集合和自采数据库上的实验结果表 明此方法可大大提高手势识别的精度。 基于3D深度信息，对手势的分割、跟踪进行了研究。使用3D深度数据， 可有效地去除背景、光照的影响。但鉴于3D照相机的精度限制，手部分割通常 III - J 1 会受到前臂的影响，本文提出一种融合3D深度信息和圆形几何特征的方法，实 现了准确的手和前臂分割，使得后续的手势识别更加简单。 设计实现了三个基于手势控制的人机交互原型系统，实现了基于视觉的手 势交互。系统集成了我们提出的新方法，并且拥有简单易用的用户界面，给用 户带来了全新的交互体验。 关键词：人机交互，手势跟踪，手势识别，高斯核函数，局部二值模式(LBP)。 IV Abstract With ofthe andthe of improvementcomputerperformancewidelyusing rapid kinds in inall of influencemodem is computers area,the societyexpandedq