三种简单手势识别课件.ppt

简单手势识别 一、背景 　　随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。 　　手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。 二、手势识别概述 　　手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。 　　 　　图2-1 手势的产生过程 　　手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。 　 2.1、手势识别的概念 2.2、手势识别流程 　随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。 2.3、手势建模 　 在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，手势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的手势模型。 2.4、手势特征提取 　手势特征的提取是与手势模型密切相关的，不同的手势模型会有不同有手势特征。例如基于模型的手势模型有手的每个关节的状态特征，基于表观模型的手势特征是轮廓特征、位置特征等。静态手势识别和动态于势识别的特征也不同，静态手势的特征只是描述的手的静态信息，例如轮廓、面积等。动态手势特征是连续的静态特征序列。 三、手势识别 　 常用的静态手势特征有轮廓、位置、面积、分布等。 本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。 3.1、设计思路 3.2、手势采集 　　对于手势识别，首先得要求有用来对比识别的手势，我们采集的简单的手势有以下几种：拳头、布、剪刀。如下图所示： 3.3、相关程序 　 本文的识别程序是在“肤色识别”的基础上进行一定修改形成的。通过读程序，我们发现原程序较慢，我们删除了一部分无关程序，提高了识别的速度。通过了Cr和Cb来判断Y的值，再利用Y的面积来判断不同的手势。程序详见报告。 三、手势识别 　 常用的静态手势特征有轮廓、位置、面积、分布等。 本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。 3.1、设计思路 3.4、识别结果 　　　对于不同的手势所得识别结果如下： 　　由识别结果可以看出：在合适位置随着手势的变换，在屏幕上显示的文字作相应变化。实验中发现，在不同摄像头背景下，实验结果存在较大差别，于是，我们采取了纯黑色的背景进行实验。 四、实验总结 手势识别技术的实现