毕业论文：基于计算机视觉的手势跟踪与识别技术的研究（终稿）.doc

基于计算机视觉的手势跟踪与识别技术的研究 1 绪论 2 1．1手势识别研究的意义 2 1．2手势识别国内外研究现状 2 1.3基于视觉的手势跟踪与识别流程图 3 2 基于计算机视觉的手势识别基础理论 3 2．1模式识别概述 3 2．2基于计算机视觉的手势跟踪理论 4 2．3基于计算机视觉的手势识别理论 5 2．3．1神经网络算法 5 2．3．2基于模板匹配的算法 6 2．3．3统计分析算法 7 2．3．4隐马尔可夫模型(HMM) 7 2．4基于计算机视觉的手势跟踪与识别系统 8 3 手势图像预处理及特征提取 8 3．1手势图像预处理 8 3．1．1图像平滑 9 3．1 .2图像色彩空间转换 10 3．1 .3图像二值化 11 3.1 .4图像形态学处理 12 3．2手势图像特征提取 13 4 手势跟踪算法研究 13 4．1 Kalman跟踪算法 13 4．2 Camshift跟踪算法 15 4．2．1颜色概率模型 15 5 基于计算机视觉的手势跟踪与识别算法实验 16 5．2手势图像预处理及特征提取实验结果 17 5．2．1手势图像获取及手势样本库的建立 17 5．2 .2手势图像的预处理 19 5．2手势跟踪实验结果及分析 20 5．3实时手势识别实验结果及分析 21 5．3．1手势识别系统流程 21 5.4 手势跟踪与识别在人机交互中的应用 21 6 总结与展望 23 7 附录： 24 7.1 程序重要部分代码 24 7.2 手势识别的视频 27 7.3 国内外生产手势识别软件的厂家 28 1 绪论 1．1手势识别研究的意义 在人机交互的发展过程中先后出现了基于文本方式的键盘、基于图形方式的鼠标等交互接，然而从某种程度上说，这些机械设备在人机交互方面是不方便和不和谐的。它把机器作为人机交互的中心，在人机交互时人需要去适应机器的输入输出设备，对机器没有主动控制的能力。随着计算机科学的快速发展，研究符合人类交流习惯的人机交互技术成为国内外关注的热点，这些研究包括人脸识别、面部表情识别、头部运动跟踪、眼睛识别、手势识别以及人体姿势识别等。总体来说，人机交互的研究已经从以计算机为中心转移到以人为中心，大大提高了人机交互的效率。 手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。手势生动、形象、直观，而且蕴涵着丰富的信息，是人与人沟通的重要媒介。目前基于手势的交互已经成为人机交互的重要内容。手势识别的应用前景十分广阔：(1)对于聋哑人而言，特别是文化程度比较低的聋哑人，使用手语和正常人交流更加方便和高效。手语是用手势表示意思的语言，对不熟悉手语的普通人来说，理解手语是非常困难的。如果有一套可以翻译手语的系统，则将大大方便聋哑人与正常人之间的交流；(2)利用手势对虚拟现实中的智能设备进行控制。比如在虚拟场景内利用手势实现虚拟钢琴的演奏，又如用机器人的虚拟手抓取物体等；(3)研究人类对于视觉语言的理解规律，提高计算机对人类语言的理解能力；(4)手势交互是虚拟现实中多通道接口的重要组成部分之一。 1．2手势识别国内外研究现状 根据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别。 基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息，其优点是系统的识别率高，缺点是输入设备昂贵，并且要求打手势的人穿戴复杂的数据手套，给人带来很多不便，因此这种方式不能成为未来发展的趋势。基于视觉的手势识别是计算机通过对摄像头拍摄的手势图像进行分析和处理提取出手的位置及形状。这种方法在实现时无需购买昂贵的设备，仅需要廉价的摄像头和低端处理能力的PC机即可。并且在操作时更加自然、方便，符合以人为本和自由性的要求，是手势识别未来发展的趋势。但是这种方法的识别效率比基于数据手套的手势识别低，而且能够识别的手势种类受到很大的限制，是目前亟待解决的问题。 国外很早就开始了对手势识别的研究工作。Huang创建的手语识别系统使用3D神经网络的方法识别了15个不同的手势。Stamert51等人使用隐马尔可夫模型(HMM)对输入视频序列中的美国手势中带有词性的40个词汇随机组成的句子进行了识别，其中HMM参数的估计采用的是EM算法。系统对分离单词的识别和由5个单词组成的句子(句子的结构限定为代词+动词+名词+形容词+代词)的识别分别进行了测试，识别正确率达90％。Zhu[6]使用主成分分析方法创建统计结构，从而识别活跃对象的形状，即模型化系统和弹性对象的识别。Vogler和MetaxastTl开发的手语理解系统通过固定在人身上的物理传感器和一个能够对手臂进行精确定位的摄像机来获取手臂位置信息。系统采用独立的语言模型对包括53个单词的手语集进行了测试，识别率也达到90％。我国对手势识别