手势鼠标识别方法.pdf

手势鼠标识别方法 王曌燚 2012 年4 月3 日 手势鼠标识别方法 王曌燚 其来有自 昨夜八九同窗把盏，醉卧。寅卯时分初醒，无眠。思来想去，忆夕日未开发成之手套鼠 标，得此法，公示之。 1 / 7 手势鼠标识别方法 王曌燚 手势鼠标识别方法 利用摄像头识别手势，达到鼠标控制的效果。 一、 背景 目前的电脑、电视控制一般都是使用鼠标或者遥控器操作，其他的操作方式也一般都附 带有硬件设备在身体上，较为不便。随着大屏幕电视、云电视、互联网电视的概念普及，在 电视领域已经需要对电视画面做复杂的操作，只使用传统的遥控器较为不便。同时随着 windows8 系统的推出，更加注重触屏及手势类的操作，普通显示器同样也可以采用触屏的 方式进行操作更贴合平板电脑的使用风格，如果能够像电影“少数派报告”那样采用手势操 作当然会更酷，就目前的图像识别技术已经能够实现。 实际上已经有相似应用的产品出现，即体感游戏，微软的kinect。本文将利用该图像处 理原理设计一套目前可行的方法来实现鼠标的控制。 二、 原理及方法 1、 识别的基本原理 采用图像识别中的背景排除法，即通常我们运用到的笑脸识别和画面运动侦测都是如此， 将上一画面和这一画面的差值进行处理计算。 上一帧画面 当前帧画面 差值 如上图所示，帧与帧之间存在画面差异时，便能形成手势，如果将首先是上一帧减背景与当 前帧减背景那么就能形成一个从左向右的动作，将此动作就能转化为鼠标的控制指令。 上图只是用photoshop 的简单处理，背景没有完全消除，改进算法就能获得更好的效果。 实际的软件设计中，可能需要很多帧来优化算法，使得运动物体在画面内能够清晰的显示轮 廓，将背景和噪声较为彻底的消除。 2、 识别难度分析 首先，我们假设是通过固定在显示器或电视机上方的一个或多个摄像头来实现图像的采 集；其次我们在普通的室内环境中操作。 2 / 7 手势鼠标识别方法 王曌燚 尽管我们的摄像头固定，扑捉的背景固定且纯净，但是由于光线有变化，会使摄像头采 集的图像有色差、对比度差异，不能将背景和噪声完全消除，所以会影响识别，整个产品的 可行性就完全依赖于识别算法的优良。 摄像头的分辨率越来越高，识别细微手势则更加容易。 设计越容易识别的手势越好，相比之下，张开的五指比并拢的五指容易识别，V 形手势 比单独伸出食指更易识别，所以会有如下一些基本手势。 序 名称 图示 解释 号 1 掌手势（张开的 五指张开，易于图像 五指） 的大范围捕捉 2 拳手势（捏紧的 利于与张开的五指对 拳头） 比 3 V 型手势 手势特别，V 字形三点 突变，易于图像捕捉 4 7 型手势（大拇 比V 字形手势更容易 指和食指垂直手