人机界面设计（第二版） 教学课件 作者 王文 周苏 涂嘉庆 第08章 多通道用户界面及交互技术.ppt

人机界面设计（第二版） 周苏 教授 第8章 多通道用户界面及交互技术 人机界面的发展经历了从命令行界面到图形和多媒体用户界面的过程，其直接结果就是计算机拥有了越来越多的用户，用户所需要记忆和训练的时间和强度都大幅度降低了，计算机呈现视觉、听觉信息的能力大大加强，提高了用户对信息表现形式的选择和控制能力以及接受信息的效率。 第8章 多通道用户界面及交互技术 与此同时，随着计算机表现形式的多样化和用户与计算机交互方式的多样化，传统的交互手段如键盘、鼠标的用途在缩减，人机交互方式正经历着一场重大的变革，无处不在的计算使人与计算机之间产生了一种新的交互方式，以满足人们不断增加的对信息访问和计算功能的需求。 第8章 多通道用户界面及交互技术 为了适应这种变化，出现了多通道人机界面技术。它基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。 第8章 多通道用户界面及交互技术 8.1 多通道用户界面的发展 8.2 眼动跟踪 8.3 手势识别 8.4 三维交互 8.5 语音识别 8.6 表情识别 8.7 自然语言理解 8.8 手写识别 8.9 虚拟现实技术 8.1 多通道用户界面的发展 通过不同通道（包括视觉、听觉、触觉、动觉、言语、手势、表情、眼动或神经输入等）与计算机系统进行通信的用户界面，称为多通道用户界面（multimodal user interface）。 8.1 多通道用户界面的发展 目前，占据统治地位的GUI/WIMP（window、icon、menu、pointing device）界面的技术特点和优势是不容置疑的。然而，它也有一定的局限性。比如，输入/输出不平衡，用户的输入带宽远远低于输出带宽，用户输入所在的意义层次也很低；文本输入和直接操纵这两种交互都要由手来进行，使得手在鼠标和键盘之间切换频繁；屏幕空间资源本来十分宝贵，却大量被界面构件而非应用工作区所占据；输入/输出方式单一，不能充分利用用户的认知资源。一些通道负荷很重，如视觉，而另一些通道几乎完全没有被利用，如听觉和触觉。 8.1 多通道用户界面的发展 传统交互方式难以满足计算机领域的扩展，特别是虚拟现实、三维CAD与多媒体等方面的发展对交互提出的新需求。一些过去在特殊场合才会有的需求，如语音和声音的输入/输出，正在变成十分普遍而正常的需求。 人机界面设计最重要和最根本的动力则来自计算机走向普通用户、走进日常生活的大趋势。计算机技术和产业发展的这种趋势，在很大程度上决定了界面发展的趋势。随着计算机进入千家万户，对自然交互方式的呼声也日益高涨。 8.1 多通道用户界面的发展 19世纪80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在欧美受到高度的重视。很多研究领域不一定使用“多通道”这样的名称，却与多通道研究关系紧密而不可分割，特别是多媒体、虚拟现实、模式识别（语音识别、手写识别、手势识别、表情识别及相应的合成技术）、自然语言处理/计算语言学、交互设备等。 8.2 眼动跟踪 外界信息的80％是通过视觉获得的，当前人机界面所用的交互技术几乎都离不开视觉的参与。所以，用眼睛输入（选择/定位等）是很自然的想法。用眼睛输入有3种方式，即跳动（saccades）、注视（fixations）和平滑尾随跟踪（smooth pursuit）。 8.2 眼动跟踪 通过对视觉-眼动系统（Eye-gaze tracking）的研究，可以得知人在观测各种外景和屏幕信息时的扫描选择和注视过程，从而研究人的视觉感知和综合的机理。并且在多批量、多目标、多任务的情况下，对于不同位置、大小、颜色、速度的目标的眼动敏感度、延迟、反映速度等具体特性有深入、细致的了解，而且人的疲劳也很容易从眼动规律中反映出来。 8.2 眼动跟踪 视线跟踪技术及装置有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分，精度不等，制造成本也有极大的差异。有关视觉输入的人机界面研究主要涉及两个方面：一是视线跟踪原理和技术的研究；二是在使用这种交互方式后，人机界面的设计技术和原理的研究。 8.2 眼动跟踪 把视线应用于人机交互，会遇到的一个障碍，就是被称为“米达斯接触（Midas touch）”的问题。当鼠标跟随视线移动时，必须区分哪些是用户随便看看，哪样是用户想要去单击/执行的。理想的情况就是，界面在用户想要做出控制时，能够及时处理视线的输入，相反就忽略视线的移动。 8.3 手势识别 以手势体现人的意图是一个非常自然的方式，一个简单的手势蕴涵着丰富的信息。正因为如此，人与人可以之间通过手势来传达大量的信息，实现高速的通信。将手势运