计算机手势输入与其在人机交互技术中的应用.docVIP

计算机手势输入及其在人机交互技术中的应用* 方志刚 摘　要　本文简介计算机手势识别技术的基本手段、方法和技术, 讨论手势作为人机交互通道所具有的特点，并介绍作者在多通道用户界面的研究中实现的对手势的整合技术.关 键 词　人机交互　多通道用户界面　多通道整合　手势　姿势分 类 号　TP311 COMPUTER GESTURE INPUT AND ITS APPLICATION INHUMAN COMPUTER INTERACTION FANG　Zhigang (State Key Laboratory of CADCG， Zhejiang University　Hangzhou 310027)(Department of Electronic Engineering,Zhejiang University　Hangzhou 310028) Abstract　This paper rewiews the means and methods of computer gesture recognition technology, discusses the features of gesture as a modality in human computer integration, and discribes the technology of multimodal integration of gesture into multimodal user interface. Key words　Human computer interaction　Multimodal user interface　Multimodal integration　Gesture　Posture 1　引言　　当前在人机交互技术领域，多媒体技术的相对成熟极大地改善了计算机信息表现能力，同时也更显出交互输入手段的严重不足，呈现出人与计算机输入输出通信带宽的严重脱节〔11〕.多通道人机交互技术研究打破常规，突破传统交互设备(键盘和鼠标器)的限制，力图使人在人机交互过程中综合运用手势、语音、姿势甚至视线等多种通道，使用相应的交互设备全方位地与计算机进行通信，彻底解决计算机处理高维信息所要求的双向高通信带宽.近年来虚拟现实技术的迅猛发展，大大促进了人们在人脸识别、表情解释、口形(唇读)识别、头部方位检测、视线跟踪、三维定位、手势解释和人体姿势解释等方面研究工作的积极性和动力.　　不论在日常交际活动中，还是在人机交互活动中，手势都理应具有十分重要的作用.遗憾的是，传统用户界面只利用了手势中极少的信息.例如用户使用二维鼠标器时, 计算机仅能获得二个维度的移动信息和少数手指的点击, 除此之外， 计算机不能识别任何别的动作，不但缺少按键的力度,甚至连第三维空间信息都不能提供，将人的手和眼局限在狭小的桌面上.从手势以及更多的输入通道获得用户更丰富的交互意图是当前人机交互技术发展的新动向、新课题. 2　手势的定义和分类　　人体语言包括对肢体的状态和动作的运用，其中我们有必要区分手势(gesture)和姿势(posture)的区别.手势当然只能由手产生，而姿势则既可由手产生，也可由整个身体产生.两者的区别似乎在于手势更为强调手的运动，而姿势则更为强调手或身体的形状和状态.不过，只有当我们说明问题需要时才作这种区分，在多数情况下我们笼统地定义为：手势是人的上肢(包括手臂、手和手指)的运动状态. 表1　手的运动分类(Hand Motion Taxonomy)〔5〕 　 Hand Position Oriented Finger Flex Angles dont care motionless fingers moving fingers dont care X finger posture e.g. fist finger gesture motionless hand hand posture oriented posture e.g. thumbst down oriented gesturee.g. bye-bye e here moving hand hand gesture moving posture e.g. banging fistor a salute moving gestureeg. strong come here 人们对手势做了不同的分类〔1〕：　　① 交互性手势与操作性手势，前者手的运动表示特定的信息(如乐队指挥)，靠视觉来感知; 后者不表达任何信息(如弹琴).　　② 自主性手势和非自主性手势, 后者与语音配合用来加强或补充某些信息(如演讲者用手势描述动作、空间结构等信息).　　③ 离心手势和向心手势