【外文翻译】基于组合特征提取的手势识别.pdf

原文:HandGestureRecognitionBasedonCombinedFeatures

Extraction

基于组合特征提取技术的手势识别

摘要：手势在视觉交流上是一个热门的研究领域，主要用于手语识别和人机交互

的目的。在本论文中，我们提出了一个通过使用隐马尔可夫模型（HMM模型）

能够实时从彩色图像的序列中识别字母字符（A-Z）和数字（0-9）的系统。我们

的系统有三个主要阶段：自动分割和手势区域的预处理、特征提取和分类。在自

动分割和手势区域的预处理阶段，通过使用均值漂移算法和卡尔曼滤波，颜色和

3D深度图是用来探测手将出现的轨迹。在特征提取阶段，笛卡尔系统的使用让

我们得到三维组合特征的位置、方向和速度。然后，K-均值聚类采用隐马尔可夫

模型。最后阶段所谓的分类，Baum-Welch算法是用来做一个完整的隐马尔可夫

模型参数训练。通过使用左-右手型与Viterbi算法结合的方法字母和数字的手势

被识别。实验表明我们的系统能成功识别手势的概率是98.33%。

关键字：手势识别，计算机视觉，图像处理，模式识别

1.前言

从手势运动和手势位置得到的手语识别是一个用于人机交互的热门研究领

域。一个手势是时空格局，这可能是静态或动态或两者。静态的手被称为姿势，

而动态的手称作手势。手势解释的目的是推动人机交互从而使人机交互性能接近

人际交往。这是由于手势跟踪存在的复杂性，如手的外观，光照变化，跨手闭塞。

这些问题损害了跟踪算法的性能和效率。在过去的十年中，几种方法在先进的手

势交互的应用前景[1][2][3][4][5]

已经被提出来了，但这些差异在他们的模型中又都不相同。这些模型是神经网络

[1]，隐马尔可夫模型[2]与模糊系统[5]。

LiuandLovell介绍了一种基于Camshift实时算法和复合恒定加速度卡尔曼

滤波算法的实时手势跟踪系统。而Nobuhiko等人用HSV颜色空间来追踪非复

杂背景下的手和脸，那里的重叠的手和脸通过先前的手和脸模板匹配能较好地分

离开。Comaniciu等人提出了一种使用均值漂移算法和卡尔曼滤波跟踪从摄像头

获得的移动物体的技术，这一技术主要获得了实时跟踪性能。先前的技术没有考

虑到许多点，如双手的准确分割组合，包括手和脸重叠的鲁棒性跟踪和系统实时

高分辨率的运行能力。

Vassilia等人开发了一种系统，可以识别孤立和连续的希腊手势语言，其中

方向向量是从图像中提取，然后作为参数输入到隐马尔可夫模型在句子中被使

用。Ho-Sub等人介绍了手势识别方法，该方法使用位置，角度和速度的组合特

征确定作为输入到隐马尔可夫模型的离散向量。这种方法在字母（A-Z），数字

（0-9），六编辑命令和六个绘图元素上可以实现。Nianjun等人通过使用不同的

隐马尔可夫模型的拓扑结构数提出一个方法来识别不同国家的从A到Z的26个

字母。但是，这些方法运行在一个非复杂离线背景。

Nguyen等人提出一个手势识别系统，在这个系统里通过卡尔曼滤波和手斑

点分析，以获得手部区域动作的描述来跟踪手势。这个系统对背景聚簇和使用皮

肤颜色跟踪和识别手势相当强大。此外该系统用包括美国手语拼写字母和数字的

36个词汇来测试。但是这种方法在我们的系统中研究手的姿势而不是手的运动

轨迹。其中有这样一个问题，它提高了手势识别的实时性，是由事实所引起的同

样的手势如形状、轨迹和持续时间，甚至是同一个人变化引起的。所以，隐马尔

可夫模型是在我们的系统用在它有能力建模时空的时间序列。

本文的主要贡献是研究用于手势识别的位置、方向和速度的组合特征的作

用，这个特征是从时空手势路径获得的。此外，它提出了一个能够从三维颜色图

像序列中通过使用隐马尔可夫模型模型跟踪单个手势运动轨迹来识别字母字符

（A-Z）和数字（0-9）的实时系统。颜色和3D深度图是用来检测手。此外，手

的轨迹采用均值漂移算法[13]和卡尔曼滤波[14]与3D深度图结合的办法来确定。

手和脸从来自立体相机、高斯混合模型（GMM）的和颜色信息的三维深度图从

复杂背景分割出来，这相对于不利的照明和部分遮挡是更强大的。深度信息解决

了手和脸重叠问题。该系统是用来自笛卡尔系统的变化的特征在不同的实验上测

试以决定哪个特征能得到最好的结果。每个字母和数字用30帧测试（2