多媒体人机交互技术.pptVIP

检测模块：检测用户的操作命令，并通过传感器模块作用于虚拟环境。 反馈模块：接受来自传感器模块信息，为用户提供实时反馈。 传感器模块：一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以各种反馈的形式提供给用户。 控制模块：对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。 建模模块：获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。 第三十一页，共四十三页。 * 第十二章 多媒体人机交互技术 第一页，共四十三页。 本章导读 从多媒体技术的角度看，人机交互技术是在计算机具备处理声音、图像、视频等多种媒体信息能力的基础上发展起来的，是多媒体技术的不同应用。另一方面，人机交互技术的研究又促进了多媒体技术的快速发展，充分表现了多媒体技术的交互性。本章将从多媒体信息处理的角度，简单介绍目前已经广泛应用的几种典型的人机交互技术，如触摸技术、手写识别技术、语音识别与合成技术、虚拟现实技术等。同时，还将介绍基于多媒体技术的人机交互界面的发展方向。 第二页，共四十三页。 本章主要内容 12.1 人机交互技术概述 12.2 触摸屏技术 12.3 OCR与手写识别技术 12.4 语音识别技术 12.5 语音合成技术 12.6 虚拟现实技术 第三页，共四十三页。 12.1　人机交互技术概述 12.1.1 人机交互简介 人机交互（ Computer Human Interaction，CHI）也称HCI（Human Computer Interaction），是研究人、计算机及其相互影响的技术，其核心是人机界面，它是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。 人机交互技术是指通过计算机系统的输入/输出设备，以有效的方式实现人与计算机系统之间信息交流的技术。 目前，人们已经能够与计算机系统较为方便地进行交互，具体应用的交互技术有键盘交互、手写文字交互、语音交互、图像与视频交互、多语言交互、虚拟现实系统中的交互等。 第四页，共四十三页。 12.1.2 多模态人机交互 1、模态 是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。 2、多模态人机交互 多模态（Multimodality）人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。 第五页，共四十三页。 3、多模态人机交互的研究内容 1）语音识别、 2) 理解及合成、 3）手势识别技术、 4）人脸的研究、 5）唇读的研究、 6）人体动作的研究。 第六页，共四十三页。 4、多模态人机交互的基本特点 1）使用多个感觉和动作模态； 2）三维的和直接操纵的要求； 3）允许模糊交互； 4）交互双向性； 5）交互的隐含性； 第七页，共四十三页。 12.1.3 可视化 可视化是指充分利用人们对可视模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。 可视化 操作过程可视化 科学计算可视化 信息可视化 利用计算机图形学和图像处理技术，将科学计算过程中（包括计算结果）的数据转换为图形或图像在屏幕上显示出来，进行交互处理的理论、方法和技术。 层次信息可视化 多位信息可视化 文档（文本）信息可视化 Web可视化 现代操作系统提供人机交互环境的基本要求，它通过GUI技术来实现 第八页，共四十三页。 12.1.4 新型人机界面的主要特征 1）人性化 2）自然化 3）智能化 4）高带宽 5）不限制地点 6）图示编程 (a) 交互墙 (b) 交互桌 (c) 交互椅 图12-1 物面用户接口举例 第九页，共四十三页。 12.2　触摸屏技术 12.2.1 触摸屏简介 触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置。用户可以直接用手指触摸屏幕以实现与计算机的交互。 工作过程：手指或其他物体触摸触摸屏 触摸屏控制器检测位置（以坐标形式） 通过计算机接口送到CPU确定用户所输入的信息。 触摸屏具有界面直观，操作简单，“伸手即得”的优点，大大改善了人与计算机的交互方式。 第十页，共四十三页。 触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置； 用户可以直接用手指触摸屏幕以实现与计算机的交互； 工作过程：手指或其他物体触摸触摸屏，触摸屏控制器检测位置（以坐标形式），通过计算机接口送到CPU，以确定用户所输入的信息。 触摸屏具有界面直观，操作简单，“伸手即得”的优点，大大改善了人与