手势识别技术及其在人机交互中的应用.docx

李清水1 ,方志刚1 ,沈模 李清水1 ,方志刚1 ,沈模卫2 ,陈育伟1 (1 . 浙江大学电子工程系 ,浙江 杭州 310028 ; 2 . 浙江大学工业心理学国家实验室 ,浙江 杭州 310028) 摘要 :手势是一种自然 、直观 、易于学习的人机交互手段 ,手势输入是实现自然 、直接人机交互不可缺少的 关键技术 。目前的手势识别技术主要分为基于数据手套和基于视觉两种 。这两种方法各有自己的长处 ,也都 取得了一些研究成果 ,但都还不成熟 。手势输入作为一种自然 、丰富 、直接的交互手段在人机交互技术中占有 重要的地位 。 关键词 :手势识别 ;计算机视觉 ;时空表观模型 ;动态时空规整 中图分类号 : TB 18 ; TP 391. 4 文献标识码 :A 当前 ,人机交互技术已经从以计算机为中心 逐步转移到以用户为中心 ,是多种通道 、多种媒体 的交互技术 。手势是一种自然 、直观 、易于学习的 人机交互手段 。以人手直接作为计算机的输入设 备 ,人机间的通讯将不再需要中间的媒体 ,用户可 以简单地定义一种适当的手势来对周围的机器进 行控制1 。手势研究分为手势合成和手势识别 。 手势识别技术分为基于数据手套和基于计算机视 觉两大类 。本文将主要针对基于视觉的手势识别 技术 ,从手势的定义 、手势分割 、手势建模 、手势分 析 、手势识别等方面综述手势识别的研究现状 ,并 讨论手势识别在人机交互技术中的应用 。 1 手势的定义 由于 手 势 ( gesture ) 本 身 具 有 多 样 性 和 多 义 性 ,具有在时间空间上的差异性 ,加上不同文化背 景的影响 ,对手势的定义是不同的 。这里把手势 视觉的 , 是指如何把手势从手图像中分离出来 。 在复杂背景情况下 ,手势分割困难重重 ,还没有成 熟的理论作为指导 ,现有的算法计算度高 ,效果也 不理想 。主要有以下几种 : ①增加限制的方法 ,如 使用黑色和白色的墙壁 ,深色的服装等简化背景 , 或者要求人手戴特殊的手套等强调前景 ,来简化 手区域与背景区域的划分 。 ②大容量手势形状数 据库 方 法 , 如 密 西 根 州 立 大 学 计 算 机 系 的 Cui Yuntao 建立了一个数据库 ,其中有各种手势类在 各个时刻不同位置不同比例的手型图像 ,作为基 于模板 匹 配 识 别 方 法 的 模 板 。 ③立 体 视 觉 的 方 法 ,如纽约哥伦比亚大学计算机系的 Gluckman 利 用两个不在同一平面镜子的反射图像 ,计算物体 与摄像机之间的距离 ,根据距离信息分割出人手 。 3 手势建模 手势模型对于手势识别系统至关重要 ,特别 媒体 (手和臂) 媒体 (手和臂) ,一般遵循两步建模过程 :首先给手 (和臂) 的运动以及姿态建模 ,然后从运动和姿态 模型参数估计手势模型参数3 。图 1 是同一种手 姿态的几种模型 。 数据手套是虚拟现实技术中广泛使用的交互 设备 。基于数据手套的手势识别严格来说其实不 能算作一种真正 的“手 势 识 别”。传 统 的 交 互 设 备 ,如鼠标 (笔) 等 ,其实也可以认为是一些手势输 入设 备 。基 于 数 据 手 套 手 势 输 入 ( Glove2based Gesture Input) 的优点是输入数据量小 ,速度高 ,能 直接获得手在空间的三维信息和手指的运动信息 可识别的手势种类多 ,且能够进行实时地识别 。 基于数据手套的手势识别目前较多采用神经 网络等方法 。由于神经网络可以用静态的和动态 的输入 ,很适合用快速 ,交互的方式进行训练 ,而 不必用一种解析的方式定义传递特征 。还可以根 据用户个人情况调整网络的连接权值 ,使手势识 别程序能适应不同的用户 。存在的不足是手势识 别网络依赖于设备 。当使用不同的手套设备时 , 要改变网络的拓扑结构 ,并重新训练网络得到新 的连接权值 。 6 基于计算机视觉的手势识别 基于计算机视觉的手势输入特点是对用户的 运动限制少 , 需要处理的数据量大 , 处理方法复 杂 ,不适合实时地识别 。对静态手势的识别包括 基于经典参数聚类技术的识别和基于非线性聚类 技术的识别 。绝大多数动态手势被建模为参数空 间里的一条轨迹 。不同用户做手势时存在的速率 差异 、熟练程序会在轨迹的时间轴上引起非线性 波动 。考虑到对时间轴的不同处理 ,现有的动态 手势识别技术可以分归三类 : 基于隐马尔可夫模 型 ( Hidden Markov Models , HMM) 的 识 别 , 基 于 动 态时 间 规 整 ( Dynamic Time Warping , DTW) 的 识 别 ,基于压缩时间轴的识别3 。 在基于 HMM 的识别