基于多摄像头的手势识别技术设计分析uycoswup.docVIP

基于多摄像头的手势识别技术设计分析 基于多摄像头的手势识别技术研究 1 研究背景 2 2 手势识别概述 2 21 手势识别的概念 2 22 手势识别流程 3 3 手势建模 4 4 手势检测与跟踪 4 5 手势特征提取 5 51 静态手势特征 5 52 动态手势特征 7 6 手势识别 8 61 静态手势识别 8 62 动态手势识别 9 7 基于多摄像头的手势识别 12 71 G-Sense系统的手势词汇设计 13 72 G--Sense手势识别应用 13 73 G-Sense应用背景下的手势设计 14 73 动态手势的定义 15 8 Sense手势识别系统设计与实现 15 82 G-Sense系统框架与功能 16 83 G-Sense系统的详细设计 17 1 研究背景 随着计算机硬件与软件技术的发展人机交互技术由传统的鼠标键盘时代发展到了以语音输入动作识别等技术为代表的自然交互时代n1特别是视觉计算技术的发展使计算机获得了初步视觉感知的能力能看懂用户的动作其中手势识别作为一种直观的自然的输入方式把人们从传统接触性的输入装置中解放出来可以以一种更自然的方式与计算机交互使计算机界面变得更加易引 手势主要分为静态手势和动态手势两种动态手势可以看作是连续的静态手势序列动态手势具有丰富和直观的表达能力与静态手势结合在一起能创造出更丰富的语义利用动态手势识别构建新型的交互界面是新一代的人机交互界面对输入方式自然性的要求可以弥补传统交互方式的不足基于视觉和手势识别研究正处于蓬勃发展的阶段仍存着的许多值得研究的问题研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义 本文研究的是基于多摄像头的动态手势识别方法利用两个正交放置的摄像头来获取动态手势的三维运动信息以支持三维动作的识别它是基于两个应用背景的应用研究其中一个是利用手势控制的照片浏览另一个是三维动作感应的拳击小游戏作为一个应用研究在研究的过程中需要解决手势检测动态手势跟踪中的于脸遮挡多摄像头协同工作和手势特征提取动态手势识别等一系问题 2 手势识别概述 21 手势识别的概念 手势是姿势的一个子集姿势这个概念没有精确的定义一般认为手势概念经过人的于转化为的于势动作观察者看到的是于势动作的图像雎1手势的产生过程如图2-1所示 图2-1 手势的产生过程 手势识别的过程则找一个从图像V到概念动作G的变换而如图2-2所示 图2-2 手势识别的过程 22 手势识别流程 手势识别流程包手势图像获取手势分割手势特征提取手势识别四大部分嘲如图2-3所示 图2-3 手势识别流程 3 手势建模 在手势识别框架中手势模型是一个最基本的部分根据不同的应用背景于势识别采用的模型会有不同而对于不同的手势模型采用的手势检测与跟踪算法特征提取识别技术也会有差别手势建模主要分为基于表观的手势模型与基于三维的于势模型 基于表观的手势建模是一种二维建模从二维平面观察得到的平面图像信息描述于的特征 基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种 基于颜色的手势模型是把手势图像看作像素颜色的集合通过提取手部的颜色的特征来描述手势 基于颜色的手势模型的常用特征是颜色直方图基于轮廓的手势模型是把手看作一个轮廓通过提取手部图像中手的轮廓的几何特征来描述手势 4 手势检测与跟踪 手势检测与跟踪是手势识别处理流程中最前端的处理部分它处理从摄像头获取到手势图像 序列 从中检测和分割手势对象如果是动态手势识别还要对手进行跟踪 基于运动信息的方法 基于运动信息的方法是假设在视频中只有手是运动物体 其中一种方法是背景减法它要求背景静止不变把视频中的每帧与背景相减背景相同的部分变为零不同的部分就认为是运动的物体即手 另一种方法是差帧法通过当前帧与前一帧 前若干帧 相减检测出两帧之间的差异来确定手部运动的起始区域但是一般相邻帧之间的手势运动幅度不大差帧法只能检测出运动的轮廓一般要以比较低的帧采样率或者隔若干帧做减法才能正确检测与分割运动的手部 5 手势特征提取 手势特征的提取是与手势模型密切相关的不同的手势模型会有不同有于势 特征例如基于模型的手势模型有手的每个关节的状态特征基于表观模型的手 势特征是轮廓特征位置特征等 静态手势识别和动态于势识别的特征也不同静态手势的特征只是描述的手 的静态信息例如轮廓面积等动态手势特征是连续的静态特征序列 51 静态手势特征 常用的静态手势特征有轮廓位置面积手指分布等 手的轮廓特征可以连续的点来表示通过边缘检测算法把图像区域的边缘检测出来经过进行平滑和多边形拟合算法处理得到多边形的顶点的序列 在提取于的轮廓比较困难的情况下或者为了提高计算效率也可以通过计算轮廓的特征作为手势特征例如A．Wilkowski通过以手部图像的外包矩形的