基于Camshift和时序模板轨迹的动态手势跟踪与识别（.doc

基于Camshift和时序模板轨迹的动态手势跟踪与识别( 刘云1，孙玉2，刘继超3 青岛科技大学信息科学技术学院 266061 1 Lyun-1027@163.com， 2syjiayou@163.comily156401@163.com 摘要：新一代的人机交互中，手势交互成为重要的组成部分。本文介绍一种动态手势跟踪和识别的系统：首先利用改进的Camshift算法对人手实时跟踪，再把时空轨迹分析与时序模板结合，使用时序模板轨迹把手势运动的时空轨迹压缩到一幅图像中，用Hu矩提取时序模板轨迹的形状特征，作为支持向量机分类的训练数据实现动态手势的识别。该系统具有较好的鲁棒性和实时性,与传统的时序模板方法相比识别率有了较大提高。 关键词：动态手势识别、 Camshift算法、 时序模板轨迹 、支持向量机 The Algorithm of Dynamic Gestures Tracking and Recognition based on Camshift and Temporal Template Liu Yun1, Sun Yu2,Liu Jichao3 Qingdao University of Science and Technology 266061 1Lyun-1027@163.com, 2syjiayou@163.com, 3ily156401@163.com Abstract: Hand gesture recognition plays an important role in Human-Computer Interaction system. We proposed a new system for dynamic hand tracking and recognition. First, the improved Camshift algorithm is used in the hand tracking, then temporal template collapse the tracked hand motion trajectory into static image. Finally, we use a support vector machine classifier based on the statistical shape analysis of temporal template to recognize the predefined seven dynamic gestures. Temporal template based trajectory have better separate ability than traditional temporal templates for dynamic gestures. Keywords: Hand gesture recognition, Temporal template based trajectory, Camshift, Support vector machine 1????????引言 整个社会的计算机化为我们带来一种新的交互方式-人机交互（Human-Computer Interaction)。目前，手势识别技术的研究已成为当今计算机视觉领域、模式识别领域的一个重要研究方向。不仅手的静态姿势有丰富含义，手的运动也传递了大量的信息。手的运动是人们常见的传递信息方式。因此，有必要对动态手势做分析识别。但是因为手的变形复杂，以及动态手势分割的不确定性和时空变化性，使动态手势识别比静态手势识别复杂得多。 物体跟踪(Object Tracking)是计算机视觉领域中的经典问题，是视觉手势识别中重要而关键的步骤。粒子滤波(Particle Filtering) [1]是目前计算机视觉领域应用比较成功的跟踪方法。粒子滤波因为采样恶化和采样枯竭问题，导致计算量大很难用于实时跟踪。Bobick [2]提出使用时序模板(Temporal Templates)来表示和识别人的动作。时序模板包括运动历史图象MHI(Motion History Image)和运动能量图像MEI(Motion Energy Image)，但这种方法的平均识别率较低。 2???????手势跟踪 本系统在CamShift（Continuously Adaptive Mean Shift）算法的基础上做了一定的改进来实现手势跟踪。CamShift算法就是将Mean Shift算法[3]扩展到连续的视频序列，它的基本思想是对视频图像的每一帧作Mean Shift运算，并将上一帧的结果（即跟踪窗口的中心和大小）作为下一帧Mean Shift算法的跟踪窗口的初始值。首先，要计算被