[手势识别在自然交互中的应用.doc

《智能机器人》课程实验报告 手势识别在自然交互中的应用 学 院 计算机科学与工程学院 专 业 计算机应用技术 组 员 徐庸辉 学 号 201120112011 学生导师 罗荣华 指导教师 肖南峰教授 提交日期 2012年7月1日  目录 1. 实验要求 - 1 - 2. 设计平台 - 1 - 3. 实验原理 - 1 - 3.1. 手势识别现状及分类 - 1 - 3.1.1. 静态手势识别 - 1 - 3.1.2. 动态手势识别 - 1 - 3.2. 场景建模方法 - 2 - 3.3. 自然交互与虚拟键盘 - 3 - 4. 朴素手势识别分析 - 4 - 4.1. 轮廓关键点 - 4 - 4.2. 手势区域同心圆定位 - 4 - 5. 实验设计 - 5 - 5.1. 背景消除流程设计 - 5 - 5.2. 手势识别流程设计 - 6 - 5.3. 虚拟键盘设计 - 7 - 6. 实验结果 - 7 - 6.1. 手指数目识别结果 - 7 - 6.2. 虚拟键盘输入结果 - 9 - 7. 实验心得 - 10 - 实验要求 与自然语言相同，手势语言也能表达复杂信息，这样手势识别就可以进行人机交互，而不存在信息传达的困难，本文的目的是设计一个朴素的，无需分类的手势识别方法，并利用手势识别来实现基于自然交互原则的虚拟键盘。这样可以讲手势语言转换为自然语言。 设计平台 操作系统为Windows XP，用VS2010 + QT + opencv作为开发平台。 实验原理 手势识别现状及分类 手势识别根据不同的识别对象，识别方法可分为静态手势识别和动态手势识别。目前流行算法的大致流程分为手势分割，手势建模，特征匹配。 图3-1 手势识别处理流程图 静态手势识别 静态手势识别是针对单帧的手势图片做识别。 在手势分割的过程中主要使用肤色模型（色彩聚类特征），轮廓边缘（canny检测）等； 在做手势建模时主要使用一些图像属性（轮廓，图像矩，特征，直方图）； 特征匹配时使用模板匹配法，神经网络法等。 动态手势识别 相比与静态手势识别，动态手势识别是针对手势图片序列来分析手势的含义。所以动态手势识别的手势分割涉及到运动区域检测，场景建模等。 在做手势分割时经常用到的运动跟踪方法有差值图像分割, camshaft, 卡尔曼跟踪预测, 背景剪除法。 在做手势建模时主要使用一些运动序列（计算运动光流, 抽取运动轨迹）来估算。 特征匹配时使用类似隐马尔科夫模型法、动态时间规划法等的一些方法。 场景建模方法 运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法?帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪