多通道用户界面.docVIP

1100310120 潘飞达 多通道用户界面 为适应目前和将来的计算机系统要求，人机界面应能支持时变媒体，实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。80年月后期以来，多通道用户界面成为人机交互技术讨论的崭新领域，在国内外受到高度重视。 综合采纳视线、语音、手势等新的交互通道、设施和交互技术，使用户采用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕获用户的交互意图，提高人机交互的自然性和高效性。 多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面： 1）交互的自然性：使用户尽可能多地采用已有的日常技能与计算机交互，降低熟悉负荷。 2）交互的高效性：使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。 3）与传统的用户界面特殊是广泛流行的WIMP/GUI兼容。 下面将对多通道用户的特点，基本技术，将来进展和交互手段进行分点论述： 多通道用户界面的基本特点 使用多个感觉和效应通道 允许非精确的交互 三维和直接操纵 交互的双向性 交互的隐含性 二、多通道用户界面涉及的主要技术 1)多媒体 使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式进展，使计算机具有听觉和视觉，以更自然的方式与人交互。多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。 2)虚拟现实 又称虚拟环境，虚拟现实系统向用户供应沉醉和多感觉通道体验。在虚拟现实中，人是主动参加者，简单系统中可能有很多参加者共同在以计算机网络系统为基础的虚拟环境中协同工作。 虚拟现实系统具有三个重要特点：沉醉感、交互性、构想性。 3)眼动跟踪 与视觉有关的人机交互自始至终都离不开视线的掌握。假如能通过用户的视线盯着感爱好的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤。 4)手势识别 一个简洁的手势蕴涵着丰富的信息，人与人可以通过手势传达大量的信息，实现高速的通信。将手势运用于计算机能够很好地改善人机交互的效率。在多数状况下我们笼统地认为手势是人的上肢(包括手臂、手和手指)的运动状态。 5)三维输入 很多应用(如虚拟现实系统)需要三维空间定位技术，三维空间掌握器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。通过掌握这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。在三维用户交互中必需便于用户在三维空间中观看、比较、操作、转变三维空间的状态。 6)语音识别 语音识别是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术。 语音识别又是一门交叉学科，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。 7)表情识别 面部表情是人体语言的一部分。人的面部表情不是孤立的，它与心情之间存在着千丝万缕的联系。人的各种心情变化以及对冷热的感觉都是特别简单的高级神经活动，如何感知、纪录、识别这些变化过程是表情识别的关键。 8)手写识别 进展手写识别技术并嵌入到各种设施中，将是手写识别技术将来进展的重要方向之一。联机手写识别技术的优点是不需特地学习与训练、不必记忆编码规章、安装后即可手写输入汉字，是最简洁便利的输入方式。同时符合人的书写习惯，可以一面思索、一面书写，不会打断思维的连续性，是最自然的输入方式。 9)数字墨水 数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的很多局限性。 数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的纪录格式与图像和文本格式都不同。这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。 多通道用户界面的进展 传统的人和电脑软件的交互的唯一交互方式是用手，输入和输出主要依靠以手操作的鼠标、键盘，当然科技的进展，近期还增加了我们肉呼呼的手指。 传统的技术更迭总是从非精细化-精细化，从粗犷到精细，譬如输入法，譬如语音识别等。但是人机交互的变革方式却是相反的，精细化—非精细化。传统的鼠标和箭头都是精确地定位，而多通道人机交互界面，将听觉、视线、手势等非精确化的交互纳入进来。据我以为，现在应用在实践领域的譬如瘫患者操作运动，说是模式识别，更精确地可能是一种类别映射对应的技术。举例来说，譬如规定，大拇指抬起两下是向前走，左手中指抬起一下是像左走，因此机器的任务是识别这种姿态和动作，并与相应的命令对应。在自然性上并没有