人机界面设计 教学课件 作者 周苏 第8讲 多通道用户界面及交互技术.ppt

第8讲 多通道用户界面及交互技术 人机界面的发展经历了从命令行界面到图形和多媒体用户界面的过程，其直接结果就是计算机拥有了越来越多的用户，用户所需要记忆和训练的时间和强度都大幅度降低了，计算机呈现视觉、听觉信息的能力大大加强，提高了用户对信息表现形式的选择和控制能力以及接受信息的效率。 第8讲 多通道用户界面及交互技术 与此同时，随着计算机表现形式的多样化和用户与计算机交互方式的多样化，传统的交互手段如键盘、鼠标的用途在缩减，人机交互方式正经历着一场重大的变革，无处不在的计算使人与计算机之间产生了一种新的交互方式，以满足人们不断增加的对信息访问和计算功能的需求。 第8讲 多通道用户界面及交互技术 为了适应这种变化，出现了多通道人机界面技术。它基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。 1. 多通道用户界面的发展 通过不同通道 (包括视觉、听觉、触觉、动觉、言语、手势、表情、眼动或神经输入等) 与计算机系统进行通讯的用户界面，称为多通道用户界面 (Multimadal User Interface) 。 1. 多通道用户界面的发展 目前，占据统治地位的GUI/WIMP (Windows、Icons、Menus、Pointing Devices) 界面的技术特点和优势是不容置疑的。然而，它也有一定的局限性。比如， 输入输出不平衡，用户的输入带宽远远低于输出带宽，输入所在的意义层次也很低； 文本输入和直接操纵这两种交互都要由手来进行，使得手在鼠标和键盘之间切换频繁； 1. 多通道用户界面的发展 屏幕空间资源本来十分宝贵，却大量被界面构件而非应用工作区所占据； 输入输出方式单一，不能充分利用用户的认知资源。一些通道负荷很重，如视觉，而另一些通道几乎完全没有被利用，如听觉和触觉。 1. 多通道用户界面的发展 其次，传统交互方式难以满足计算机领域的扩展，特别是虚拟现实、三维CAD与多媒体等方面的发展对交互提出的新需求。一些过去在特殊场合才会有的需求，如语音和声音的输入/输出，正在变成十分普遍而正常的需求。 1. 多通道用户界面的发展 最重要和最根本的动力则来自计算机走向普通用户、走进日常生活的大趋势。计算机技术和产业发展的这种趋势，在很大程度上决定了界面发展的趋势。随着计算机进入干家万户，对自然交互方式的呼声也日益高涨。 1. 多通道用户界面的发展 19世纪80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在欧美受到高度重视。很多研究领域不一定使用“多通道”这样的名称，却与多通道研究关系紧密而不可分割，特别是多媒体、虚拟现实、模式识别 (语音识别、手写识别、手势识别、表情识别及相应的合成技术) 、自然语言处理/计算语言学、交互设备等。 2. 眼动跟踪 外界信息的80％是通过视觉获得的，当前人机界面所用的交互技术几乎都离不开视觉的参与。所以，用眼睛输入 (选择/定位等) 是很自然的想法。有三种方式：跳动 (saccades) 、注视 (fixations) 和平滑尾随跟踪 (smooth pursuit) 。 2. 眼动跟踪 通过对视觉-眼动系统 (Eye-gaze tracking) 的研究，可以得知人在观测各种外景和屏幕信息时的扫描选择和注视过程，从而研究人的视觉感知和综合的机理。并且在多批量、多目标、多任务情况下，对于不同位置、大小、颜色、速度的目标的眼动敏感度、延迟、反映速度等具体特性有深入细致的了解，而且人的疲劳也很容易从眼动规律中反映出来。 2. 眼动跟踪 视线跟踪技术及装置有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分，精度不等，制造成本也有极大差异。有关视觉输入的人机界面研究主要涉及到两个方面：一是视线跟踪原理和技术的研究；二是在使用这种交互方式后，人机界面的设计技术和原理的研究。 2. 眼动跟踪 把视线应用于人机交互，会遇到的一个障碍，就是被称作“米达斯接触 (Midas Touch) ”的问题。当鼠标跟随视线移动时，必须区分哪些是用户随便看看，哪样是用户想要去点击/执行的。理想的情况就是，界面在用户想要做出控制时，能够及时处理视线的输入，相反就忽略视线的移动。 3. 手势识别 以手势体现人的意图是一个非常自然的方式，一个简单的手势蕴涵着丰富的信息。正因为如此，人与人可以之间通过手势传达大量的信息，实现高速的通信。将手势运用于计算机，能够很好地改善人视交互的效率。 3. 手势识别 人们的手势主要分： 1) 交互性与操作性手势。前者表示特定信息 (如乐队指挥) ，靠视觉感知；后者不表达任何信息 (如弹琴) 。 2) 自主性手势和非自主性手势。后者与语