多通道用户界面设计技术综述.docx

PAGE PAGE #/12 PAGE PAGE #/12 PAGE PAGE # /12 人机交互基础教程 实验报告 实验题目：多通道用户界面设计技术综述 业计算机科学与技术 学生姓名 班级学号 教 师 指导单位计算机软件学院 日 期  教师 评语 教师签名： 年 月 日 成绩 评疋 备 注 、实验目的 1)了解常见的多通道用户界面2)查找资料，熟悉一种多通道用户界面并写出综述二、预备知识 1) 了解常见的多通道用户界面 2) 查找资料，熟悉一种多通道用户界面并写出综述 二、 预备知识 为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体, 实现三维、非精确及隐含的人机交互，而多通道人机界面是达到 这一目的的 重要途径。80年代后期以来，多通道用户界面成为人机 交互技术研咒的崭 新领域，在国内外受到高度重视。 综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用 户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多 个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的 自然性和高效性。 自然性和高效性。 多通道用户界面主要关注人机界面中用户向计算机输入信息以 及计算机对用户意图的理解，所要达到的目标可归纳为如下方面： 1）交互的自然性 使用户尽可能多地利用已有的日常技能与计算机交互，降低认 识负荷。 2）交互的高效性 使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此 不同的认知潜力。 3）与传统的用户界面特别是广泛流行的WIMP/GUI兼容。 （1） 多通道用户界面的基本特点 1） 使用多个感觉和效应通道 2） 允许非精确的交互 3） 三维和直接操纵 4） 交互的双向性 5） 交互的隐含性 （2） 涉及的主要技术 1） 多媒体 使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最 终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然 的方式与人交互。多媒体技术引入了动画、音频、视频 等动态媒体，大大丰 富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受 信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展 了应用范围。 2） 虚拟现实 又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体 PAGE PAGE #/12 PAGE PAGE #/12 验。在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者 共同在 虚拟现实以计算机网络系统为基础的虚拟环境中协同工作。 系统具有三个重要特点：沉浸感、交互性、构想性。 虚拟现实 3）眼动跟踪 与视觉有关的人机交互自始至终都离不开视线的控制。如果能通 过用 户的视线盯着感兴趣的目标，计算机便自动”将光标置于其上，人机交互 将更为直接，也省去了上述交互过程中的大部分步骤。 4）手势识别 一个简单的手势蕴涵着丰富的信息，人与人可以通过手势传达大量的 信息，实现高速的通信。将手势运用于计算机能够很好地改善人 机交互的效 率。在多数情况下我们笼统地认为手势是人的上肢 （包括 手臂、手和手指）的运动状态。 5）三维输入 许多应用（如虚拟现实系统）需要三维空间定位技术，三维空间控制 器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、 俯仰角、转动角、偏转角。通过控制这六个参数，用户可以在屏幕上平移三 维对象或光标，也可沿三个坐标轴转动三维对象。在三 维用户交互中必须便 于用户在三维空间中观察、比较、操作、改变三 维空间的状态。 于用户在三维空间中观察、 比较、操作、改变三 维空间的状态。 6）语音识别 PAGE PAGE #/12 PAGE PAGE #/12 语音识别是计算机通过识别和理解过程把语音信号转变为相应的文本 文件或命令的技术。语音识别又是一门交叉学科，它与声学、语音学、语 言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。 7）表情识别 面部表情是人体语言的一部分。人的面部表情不是孤立的，它与情绪 之间存在着千丝万缕的联系。人的各种情绪变化以及对冷热的感觉都是非常 复杂的高级神经活动，如何感知、记录、识别这些变化过程是表情识别的关 键。 8）手写识别 发展手写识别技术并嵌入到各种设备中，将是手写识别技术未来发展 的重要方向之一。联机手写识别技术的优点是不需专门学习与训练、不必记 忆编码规则、安装后即可手写输入汉字，是最简单方便的输入方式。同时符 合人的书写习惯，可以一面思考、一面书写，不会打断思维的连续性，是最 自然的输入方式。 DO数字墨水是一种新的人机界而技术，它借鉴手写识别技术的同时，克服了它 DO 的许多局限性。 数字墨水在数学上是通过三阶贝塞尔曲线来 描述笔