最新基于Opencv的手势识别系统.ppt

毕业答辩 基于Opencv的手势识别系统分析 基于Opencv的手势识别系统分析 系统研究背景 手势识别流程分析 系统总体结构 系统的设计与实现 总结 1.系统研究背景及应用 人机交互在当今计算机技术迅猛发展的今天逐渐成为人们日常生活中的重要部分 手势识别是一种简单、直观的新的交互方式，被越来越多的采用 基于手势识别的窗口控制系统，可以应用在很多方面，比如PC上的鼠标控制、Android界面控制、图片浏览、音乐播放器控制等方面。 本系统目标： 通过读取摄像头信息来识别相应的手势进行鼠标控制。 控制逻辑如下： 手掌（五指全部伸开时）表示鼠标移动（用手掌中心来对应移动距离），一根手指表示点击（最好的体验应该是通过指尖来确定位置，但是实现比较困难的话就先用手掌中心进行代替），拳头表示鼠标按键弹起 2.系统总体结构 总体结构如下： 3.系统实现分析 图像（包含手势）的预处理 肤色检测与分割 手势模板匹配 跟踪与预测算法：Camshift算法和Kalman算法 接口部分的设计与实现 3.1 图像预处理 预处理目的： 为了改善图像的质量，有两种方法： -- 图像的增强 不考虑图像降质的原因，只将图像中感兴趣的特征有选择的突出，而衰减次要信息 特点：能提高图像的可读性，但改善后的图像不一定逼近原始图像。可用场合：如衰减各种噪声、突出目标的轮廓等 --图像的复原 针对图像降质的原因，设法去补偿降质因素，从而使改善后的图像尽可能的逼近原始图像。 图像增强的两大应用 改善图像的视觉效果 突出图像的特征，便于计算机处理 灰度级变换的应用之一 亮度调整——加亮、减暗图像 图像中的脉冲噪声模型 在图像传输过程中，经常会受到各种噪声的干扰，在进行进一步的边缘检测、图像分割、特征提取、模式识别等处理前，需要采用适当的方法尽量减少噪声 最常见的图像噪声：脉冲噪声 特点： 噪声点的取值与图像信号本身无关 椒盐噪声 随机值脉冲（加性）噪声 (a) 原始图像 (b)高斯噪声 被高斯噪声所污染的图像 邻域运算 输出图象中每个象素是由对应的输入象素及其一个邻域内的象素共同决定时的图象运算。 通常邻域是远比图象尺寸小的一规则形状。 如：下面情况中，一个点的邻域定义为以该点为中心的一个圆内部或边界上点的集合。 邻域运算与点运算一起构成最基本、最重要的图象处理工具。 中值滤波 中值滤波的原理 用一个N×N的窗口（N=3，5，7…）在图像上滑动，把窗口中像素的灰度值按升/降次序排列，取排列在正中间的灰度值作为窗口中心所在像素的灰度值。 性质 是一种非线性滤波，对消除脉冲噪声十分有效。 在去除噪音的同时，可以比较好地保留边的锐度和图像的细节 中值滤波 中值滤波的原理 用模板区域内象素的中值，作为结果值 R = mid {zk | k = 1,2,…,9} 强迫突出的亮点（暗点）更象它周围的值，以消除孤立的亮点（暗点） 中值滤波 中值滤波算法的实现 将模板区域内的象素排序，求出中值。 例如：3x3的模板，第5大的是中值， 5x5的模板，第13大的是中值， 7x7的模板，第25大的是中值， 9x9的模板，第41大的是中值。 对于同值象素，连续排列。 如（10,15,20,20,20,20,20,25,100） 中值滤波 主要用途：钝化图像、去除噪音 计算公式：R = mid {zk | k = 1,2,…,9} 最大值滤波 主要用途：寻找最亮点 计算公式：R = max {zk | k = 1,2,…,9} 最小值滤波 主要用途：寻找最暗点 计算公式：R = min {zk | k = 1,2,…,9} 最大值滤波 最小值滤波 3.2 手势检测与分割 分割即将目标物体从背景中分离，以便进行下一步分析。常用方法： 背景差分法 基于肤色空间的分割 通过训练器进行训练 本系统使用第二种方法，因为其计算量小，在背景及光照不变的情况下效果比较理想 3.3 基于肤色的手势分割 根据肤色在某一颜色空间中的取值范围进行分割提取，主要是在RGB和HSV、 Ycrcb空间中。 基于颜色空间的肤色分割方法 现有的部分方法： 第一种：RGB color space 第二种：RG color space 第三种： Ycrcb之cr分量+otsu阈值化 第四种：YCrCb中D133=Cr=173 77=Cb=127 第五种：HSV中D 7H29 所有方法都是根据肤色图像所在颜色区域空间分布的大量实验统计结果，具有一定适用性。 比如第一种基于RGB颜色空间的方法具体判断条件为： R95,G40,B20,R-B15,R-G15 或者R200,G210,B170, |R-B|=15,RB,GB 具体实验效果如下图所示： 通过实验可