手势输入技术的应用研究.doc

手势输入技术的应用 摘要本文简介计算机手势识别技术的基本手段、方法和技术讨论手势作为人机交互通道所具有的特点并介绍在多通道用户界面的研究中实现的对手势的整合技术关键词　人机交互　多通道用户界面　多通道整合　手势　计算机手势输入技术 　　利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提目前人们采用了不同手段来识别手势：　　① 基于鼠标器和笔缺点是只能识别手的整体运动而不能识别手指的动作；优点是仅利用软件算法来实现从而适合于一般桌面系统需要说明仅当用鼠标光标或笔尖的运动或方向变化来传达信息时才可将鼠标器或笔看作手势表达工具　　② 基于数据手套主要优点是可以测定手指的姿势和手势但是相对而言较为昂贵并且有时会给用户带来不便　　③ 基于计算机视觉即利用摄象机输入手势其优点是不干扰用户这是一种很有前途的技术目前有许多研究者致力于此项工作但在技术上存在很多困难目前的计算机视觉技术还难以胜任手势识别和理解的任务　　所采用的手势识别技术目前主要有：　　① 模板匹配技术这是一种最简单的识别技术它将传感器输入的原始数据与预先存储的模板进行匹配通过测量两者之间的相似度来完成识别任务　　② 神经网络技术这是一种较新的模式识别技术具有自组织和自学习能力具有分布性特点能有效抗噪声和处理不完整的模式以及具有模式推广能力　　③ 统计分析技术通过统计样本特征向量来确定分类器的一种基于概率的分类方法在模式识别中一般采用贝叶斯极大似然理论确定分类函数该技术的缺点是要求人们从原始数据中提取特定的特征向量而不能直接对原始数据进行识别　　目前较为实用的手势识别是基于数据手套的因为数据手套不仅可以输入包括三维空间运动在内的较为全面的手势信息而且比基于计算机视觉的手势在技术上要容易得多 2、手势输入在人机交互技术中的应用 　传统的用户界面已经走过了基于字符的以形式语言为主的命令行用户界面和基于二维图形的以直接操纵技术为主的图形用户界面(2D GUI)目前新的发展趋势是扩充三维图形集多媒体和多通道交互为一体的综合技术并将进一步引入语音交互、手势交互甚至视线交互等形式利用和发挥人类日常交际技能体现了人机交互由抽象向形象由低维信息向高维信息发展的趋势尽管人机交互从一开始就离不开手的参与只有利用手的运动轨迹的输入设备才称得上具有手势输入功能在人机交互中使用手的几种方式：　　① 直接操纵2D GUI提供了较为完善的二维空间的直接操纵技术；虚拟现实技术也较好地发展了三维空间的直接操纵技术如利用六自由度空间控制器实现的三维物体操纵直接操纵技术利用的是所谓操纵性手势即手势本身不传达语义信息　　② 语言性手势它利用的是所谓交互性手势即计算机必须对手势做出语义解释如利用指关节的模式匹配技术实现手势词汇识别　　③ 补充性手势它利用的是所谓非自主性手势它介于直接操纵和语言性手势之间对这种手势的解释更多地依赖于语音识别换言之它为语音提供补充信息　　就语言和手势输入这两个典型通道比较而言它们各有自身的优势和不足语言对于表达抽象概念及离散属性是具有绝对优势的而且可以涉及视觉不及的对象但表达空间或形状信息的能力却是较弱的驾驶汽车时我们不会习惯于发出左转30°的命令然后再发出一个观察车窗外景的命令而是自然而然地向左转动方向盘至于车窗外景的反应是及时的我们可以根据这个反馈调整角度手势非常适合于指点、表达形状、几何变换和装配等任务一般说来将手势用于人机交互可能有以下的优点：　　① 手势在不同文化习俗间是相似的与语言无关　　② 手势填补了图形交互与自然语言交互之间的空白起到中介作用从而使两者相互结合；　　③ 用户能较快学会和掌握手势交互；　　④ 可同时用双手完成许多任务可大大提高人机交互的效率　　无论是自然语言、语音还是手势输入都存在固有的不精确性难以达到100%的识别率这一点恰与形式语言形成鲜明的对比在精确性方面手势输入也不能与传统的基于精确输入的鼠标器相提并论但这种不精确输入手段带来的较低的认知负荷正是构成自然人机交互风格的本质因此手势在人机交互中的应用的精髓不在于用来独立地用作空间指点而是为语言通道提供空间的或其它的约束信息以消除在单通道输入时存在的歧义 多通道用户界面 　　真正意义上的手势是利用手的运动轨迹的信息因而直接操纵界面对手势的使用方式不是真正的手势交互而语言性手势需建立一整套手势词汇除了识别与理解困难而外特别当词汇集较大时作为一般计算机用户并不能以很低代价自然地与计算机交互而只有在少数场合和少数用户群才有实用价值总之更具有广泛意义的自然风格的人机交互对手势的利用应当是补充性手势即手势和语言相互配合形成互补　　考虑到手势输入信息不精确的特点我们在将手势应用于多通道用户界面的研究中倾向于将手势输入作为一个辅助通道加以利用以便为其它通道提供附加的互补的约束