第13讲 人机交互的新进展与展望 .ppt

人机交互的新进展与展望 1? 多通道人机交互 2 虚拟现实技术 3 计算机支持的协同工作简介 4 未来的界面 下一代界面的发展目标 自然方式的交互:各种新的输入、输出设备以及新的软件技术，将真正使人能用日常生活中的自然技能与计算机进行无障碍的自然交互。 即追求适人化的人机和谐的多维信息空间。 下一代界面的发展目标 更高的智能性:不要总是人去命令计算机做什么，更多地由计算机来感知人。减小人在使用界面时的负荷。 人机交互技术的发展趋势 发展趋势将体现在多媒体表现方式、多通道交互、计算机支持的协同工作（CSCW:Computer Supported Cooperative Work）和虚拟现实化等方面。 人机交互技术的发展趋势 随着计算机网络尤其是因特网的迅猛发展，一种以网络为中心的用户界面出现在许多PC机网络计算机（NC）的屏幕上。 展望未来的界面，将是基于智能体、虚拟现实化的多通道因特网界面。 1 多通道用户界面 多通道（multi-modality）交互：使用多种感觉通道（模态）进行交互的方式。 是90年代才兴起的技术。它与多媒体用户界面一道共同提高人机交互的自然性和效率，同时，多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图理解的问题。 1.1 多通道用户界面的定义与特点 在同一时刻用户可以用多个通道（如语音、自然语音、手势、手写、姿势、眼动等）与计算机交互，一提高交互的自然性和高效性。 1.1 多通道用户界面的定义与特点 多通道用户界面的基本特点 a. 使用多个感觉和效应通道 b. 三维的和直接操纵的要求 c. 允许非精确的交互 d. 交互的双向性和隐含性 1.1 多通道用户界面的定义与特点 采用多通道交互的好处 可以利用各种通道、设备和交互方式的互补性：尤其对语音/听觉的强调有利于弥补现有界面的不足，还可把耳朵和触觉利用起来 ：可以发挥各个通道独特的优势，例如，语言用于交互时，它的优势主要是不受时间和空间的限制，即交互的发起无需以所涉及对象在当地的呈现为条件，也无需“触及”所涉及对象。 1.1 多通道用户界面的定义与特点 采用多通道交互的好处 多通道可以提高交互的灵活性，实现更自然和效率更高的交互；多个通道在系统中并存的冗余性能够带来不小的鲁棒性、对环境与用户的适应性以及用户可选择性。还突出地表现在为残疾人服务方面。 1.1 多通道用户界面的定义与特点 多通道交互能够提高输入/输出带宽，利用多种交互手段的结合，能够帮助交互意图的有效传达。将多通道相结合进行交互，这种结合有助于提高识别率和交互效率。 1.1 多通道用户界面的定义与特点 目前发展的局限性 目前其发展受到手势识别、语音识别、面部表情识别等技术的限制，且还有许多理论问题待研究。 如何克服目前技术的限制，从而获得多通道输入的益处？ 怎样组合不同的模态使得人们使用自然、完成任务好呢？ 1.1 多通道用户界面的定义与特点 决定模态组合是否适宜的因素 操作部位有无冲突，若相同则组合困难，如鼠标与键盘都用手 完成任务的速度能否互补，例如手腕操作鼠标指定字符较快，但指点段落却不如颈部点头快 1.1 多通道用户界面的定义与特点 决定模态组合是否适宜的因素 误差是否能互补，不同的设备与任务误差不同，如同音词识别差； 桌面空间有无冲突，如写字板与鼠标冲突； 成本是否可承受。 1.2 多通道用户界面评价 １）互补性（Complementary）：把若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令。 1.2 多通道用户界面评价 2）指派性（Assignment）：指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代。 1.2 多通道用户界面评价 ３）等效性（Equivalence）：指在完成特定交互任务时至少有两种以上通道可以相互替代。 ４）冗余性（Redundancy）：指在特定交互中多个通道同时使用并具有相同的表达作用。 1.3 多通道用户界面的概念模型 1.3 多通道用户界面的概念模型 用三元组ＭＵＩ＝（Ｎ，Ｐ，Ｒ）来表示多通道用户界面，其中，Ｎ表示通道数目，Ｐ表示输入信息的精确性，Ｒ表示通道间的关系。 传统的用户界面的典型情况是Ｎ＝１（单通道），Ｐ＝精确，Ｒ＝串行；而典型的多通道用户界面则允许多个交互通道，非精确交互动作以及并行、协作的通道配合。 1.3 多通道用户界面的概念模型 图形用户界面虽可支持键盘和鼠标器，但两者都需用手操作，一般难以同时配合使用，两者之间只存在交替和串行的关系，并且交互过程基于精确的输入信息。 1.3 多通道用户界面的概念模型 多通