多通道用户界面研究.pdfVIP

多通道用户界面研究 普建涛 汪国平 董士海 （北京大学计算机系图形研究室 北京 100871） 摘 要 用户界面的研究旨在为用户提供一种高效的人机通讯方式。近年来随着计算机软、 硬件的迅猛发展以及因特网的异军突起，传统的图形用户界面面临着新的挑战。多通道人机 界面和智能网络界面的提出，更启发人们去寻求新一代用户界面范式来解决人机交互过程中 的特殊问题。本文总结性地论述了多通道用户界面研究中所涉及到的关键性问题，介绍了相 应的一些主要解决方法，指出了其中的不足，提出了自己的一些看法和构想，结合当前计算 机新技术对下一代界面进行了讨论和展望。 关键词 多通道用户界面，人机交互，整合 1 引言 随着计算机在国民经济各个领域应用深度和广度的全面推进，它与我们日常生活的关系 也越来越紧密，从而使研究更有效的人机交互方式成为必要。人机界面从命令行界面发展到 当前的图形和多媒体用户界面的直接结果就是计算机拥有了更多的用户，用户需要记忆和训 练的时间、强度都大幅度降低了，计算机呈现视觉、听觉信息的能力大大加强，提高了用户 对信息表现形式的选择和控制能力以及接受信息的效率。与此同时，随着计算机表现形式的 多样化和用户与计算机交互方式的多样化，传统的交互手段如键盘、鼠标的用途在缩减，用 户界面不一定要和屏幕联系在一起，计算机已经变得“无所不在”了，这给计算机研究者带 来了新的课题，传统的人机界面形式面临着挑战。 为了适应这种变化，就出现了多通道人机界面技术，它基于视线跟踪、语音识别、手势 输入、感觉反馈等新的交互技术，允许用户利用本身的内在感觉和认知技能，使用多个交互 通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。 它代表了人机交互的一种新范式，与传统的图形用户界面相比较，能将互补的通道进行整合 来获取增强的混合，通道之间可以相互补充，克服彼此的缺陷，或者是针对不同的应用采取 不同的交互方式，具有更强大的表达能力、自然性、灵活性和便携性，人机交互方式向人与 人交互方式靠拢[1] 。 本文首先论述了多通道用户界面研究中所涉及到的主要研究内容和相应的解决方法，提 出了自己的一些看法和构想，结合当前计算机技术发展的趋势对未来用户界面进行了讨论和 展望。 2 多通道用户界面的主要研究内容 多通道用户界面要允许用户使用多个交互通道以并行、非精确方式与计算机系统进行交 互，但是，由于所有这些交互设备并没有被设计成以协作的方式进行工作，那么，如何使各 种不同的设备以一种统一的方式服务于应用程序，以及如何使各种不同的设备一起工作，而 且什么时候使用何种设备，最后还要从这些通道的输入信息流中获取用户要传达的交互意 图，以计算机能够理解的形式交付计算机执行等诸多问题。这些问题也就成为多通道用户界 面研究的主要内容，下面将对这些内容进行具体论述。 2 ．1 认知心理学 人与人之间最自然、最高效的交流是多个通道的配合使用，如语言、手势、眼神、身体 姿势等信息。人可以有效地整合来自不同通道的信息，形成一致的语义信息。目前，认知心 0 理学已经对单个通道信息的传递和加工有了较为深入的理解，而且拥有大量关于语音识别、 字词识别、手势识别以及触觉、动觉传递的信息等方面的研究。但对来自不同通道的信息是 如何加工的、来自多个通道的信息是如何整合成一个一致的语义信息、多通道和背景信息的 融合机理等问题还很少涉及。要让计算机很好的整合来自不同通道的信息，有赖于对人的来 自不同通道信息整合机理的认识。为了全面了解人的认知能力，需要对人类知识获取的过程、 对大脑中存储知识的结构、对运用这些知识的操作、对支持这些结构和过程的计算环境以及 对形成这些结构和过程的生理基础进行全面、深入的研究。 因此，随着认知心理学对人的信息加工的局限性的了解，必然会从“人适应机器”过渡 到“机器适应人”。 2 ．2 界面模型及描述方法 用户界面模型和描述方法主要是帮助用户清晰准确地分析和表达界面功能及其变化，描 述出用户与系统的交互过程，从而可方便地映射到设计实现。多通道用户界面基于多种交互 通道，以用户使用的自然性和效率为宗旨，这些特点给多通道用户界面的模型和描述方法提 出了许多新的课题