人机交互--多通道人机交互.ppt

第7章 多通道人机交互 本章内容 多通道交互技术概述 眼动跟踪 三维输入 实例介绍 多通道交互技术概述 为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体（time-varing media），实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径 80年代后期以来，多通道用户界面(Multimodal User Interface)成为人机交互技术研究的崭新领域，在国内外受到高度重视 多通道用户界面 消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈 综合采用视线、语音、手势眼神、表情等新的交互通道、设备和交互技术 使用户利用多个通道以自然、串行/并行、协作的方式进行人机对话 通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性 多通道用户界面研究的目标 多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解 交互的自然性 使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷； 交互的高效性 使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力； 与传统的用户界面特别是广泛流行的WIMP/GUI兼容 多通道用户界面的基本特点 使用多个感觉和效应通道 允许非精确的交互 三维和直接操纵 交互的双向性 交互的隐含性 使用多个感觉和效应通道 感觉通道侧重于多媒体信息的接受，效应通道侧重于交互过程中控制与信息的输入，两者密不可分、相互配合 一种通道(如语音)不能充分表达用户的意图时，需辅以其它通道(如手势指点)的信息；有时使用辅助通道以增强表达力 交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系 允许非精确的交互 人类语言本身就具有高度模糊性，人类在日常生活中习惯于并大量使用非精确的信息交流 允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性 多通道人机交互技术主张以充分性代替精确性 三维和直接操纵 人类的大多数活动领域具有三维和直接操纵特点 人生活在三维空间，习惯于看、听和操纵三维的客观对象，并希望及时看到这种控制的结果 多通道人机交互的自然性反应了这种本质特点 交互的双向性 人的感觉和效应通道通常具有双向性的特点，如视觉可看可注视，手可控制、可触及等 多通道用户界面使用户避免生硬的、不自然的、频繁的、耗时的通道切换，从而提高自然性和效率 视线跟踪系统可促成视觉交互双向性，听觉通道利用三维听觉定位器实现交互双向性 交互的隐含性 追求交互自然性的多通道用户界面并不需要用户显式地说明每个交互成分，反之是在自然的交互过程中隐含地说明 用户的视线自然地落在所感兴趣的对象之上 用户的手自然地握住被操纵的目标 多通道用户界面评价 基于多通道用户界面所追求的目标，人们提出相应的评价多通道用户界面的若干指标（Nigay等人提出的CARE指标）： 互补性（complementary）； 指派性（Assignment）； 等效性（Equivalence）； 冗余性（Redundancy）； 互补性 互补性是指若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令 互补性可能存在一个“优势通道（Dominant Modality）”，并需要其他通道予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点 指派性 指派性是指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代 指派性可分为两种情形 一种是不存在其他选择，称为严格的指派性（Strict Assignment） 另一种是虽然存在选择，但用户或系统总是倾向于使用同一种通道，称为代理指派性（Agent Assignment） 等效性 等效性是指在完成特定交互任务时至少有两种以上通道可以互相替代，由于设备特性、用户习惯或临时因素（如手头正忙）而使某种通道不能使用时，可选择其他通道代替。 冗余性 冗余性是指在特定交互中多个通道同时使用并具有相同的表达作用 不同通道为相同参数提供所需信息，并且所表达信息可能是一致的，也可能是矛盾的 眼动跟踪（Eye-Gaze Tracking） 与视觉有关的人机交互自始至终都离不开视线的控制 如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤 有关视觉输入的人机界面研究主要涉及两个方面 一是视线跟踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原理的研究 眼动跟踪 早期的视线跟踪技术首先应用于心理学研究、助残等领域，后来被应用于图