人机交互系统的设计准备-文档资料.pptVIP

虚拟环境是一个封闭的回路系统，虚拟环境生成系统将生成的用以仿真现实环境的图象、音响(和语音)、压力等等通过人机接口系统作用到用户的感官，并实时通过传感器测试与跟踪用户的行为与反应，以便实时调整生成的序列，用户则通过交互方式可以实际感知和响应虚拟环境。虚拟环境人机接口系统中传感器的作用是将得到的用户数据实时地反馈到虚拟环境系统中，而虚拟环境则可以根据这些数据来计算和生成新的视景、音响和作用力，以使生成的系统更加逼真，更加符合自然规律，并将新的结果再作用到用户作为新的激励。 为了设计一个友好和实用的虚拟环境系统，有必要对虚拟环境系统的构成，特别是人机交互系统的构成，以及其中主要部件和模块的情况和设计准则有一个概括的了解。 关于友好和实用虚拟环境的解释，本领域的开创人 Ivan Sutherland最初的想法是利用计算机系统构造一个用户看起来是“景物真实、动作真实、声音真实、感觉真实”的世界。当时强调的是视觉感知和视觉作用，主要想法是通过显示设备(头盔式显示器HMD)来解决问题。从虚拟环境技术的应用中不难发现，在虚拟环境的实现中实际要解决的问题远比仅仅开发一个显示设备要复杂得多，因为它需要考虑虚拟环境系统的所有主动和被动的部分，包括视觉、听觉、触觉、嗅觉以及回路中人的运动和对环境的反应。由此，我们可以看出这样的系统绝不只是一个简单的显示系统，至少还必须考虑音响系统、力觉作用系统、人类感知的心理学和生理学因素、传感器技术、实时图象生成及系统集成。 ;虚拟环境的基本设计准则 ;虚拟环境系统分类 ;虚拟环境中人机接口系统的构成;分辨率足够的立体显示设备 如头盔式显示器HMD，分左右两屏显示景物，并经过视觉的作用产生立体视觉效果； 立体声音响合成 产生以用户本人为原点的立体声音响； 语音合成 根据文本生成自然语言的语音； 图形与图象生成 产生以用户本人为视点的包括景物和运动目标的视景； 头、眼、手、身体定位与跟踪 确定用户头、眼、手和身体的位置与方向； 人体语言识别 识别用户的手势、头势、体势等形体语言信息； 语音识别 识别用户的语音命令甚至会话内容； 触觉系统 提供重力与压力的反馈； 运动学系统 提供用户和目标运动的法则和定律； 虚拟环境生成器 根据内部模型和外部环境的变化计算生成人在回路中的逼真的虚拟环境。 从系统组织上分类，我们可以将虚拟环境的人机交互子系统分为硬件、软件、界面和人性因素等四部分。 从功能的角度分类，将人机交互子系统分为显示与表现、生成与合成、感知与识别和人性因素等四部分。 ;虚拟环境的硬件系统 ;触觉系统 触觉系统是指为虚拟世界提供手工探测或操作物体的现实感生成设备，它利用人的触觉、力觉及运动神经系统与虚拟环境相互作用，并具有如下三个基本功能： 测量用户手与/或其他部位的位置和受力，以便得到控制虚拟环境的输入； 显示受力和位置与／或它们对用户的空间和时间的分布； 通过力学作用单元产生力矩和力觉作用。 当前在虚拟环境的触觉系统中人们感兴趣的研究领域包括： 手的位置和指向的测量； 应用受力和转矩的测量： 受力情况和趋势的显示； 其他激励分布的测量与分析； 手套中的力矩作用元： 反作用力作用元。 对于触觉系统的研究课题首先考虑的是机械稳定性和可靠性(包括对用户的安全性)。为了避免给出误提示，反馈系统必须用小于几毫米的振幅仔细控制振动。为了保证用户的安全，力觉的作用元必须有完全不会出现危险误动作的保证。;音频系统 一个音频系统，可划分为以下主要功能模块：制作、录音、再生和加工。 由于光盘数字音频磁带与采样系统的出现，极大地简化了控制现实世界声音的再现方式，在这方面仅需进行很少的研究就可以满足虚拟环境的需要。 通过拉长短音样本制造出长音效果，改变音高或振幅以响应虚拟现象，为激活声音起动，常用的工具是MIDI界面，借助于现代数字信号处理装置的计算能力，很容易实现应用中所需要的声音。 在虚拟世界中出现特定的物理现象时，比较困难的问题是应该产生什么样的声音，如设想将木块插进一块厚钢中，除非已经建立了相应的物理声学模型，或者建立了完整的规则库系统，否则虚拟环境系统对产生这类尚无定义的声音是毫无办法的。现假定这样的库存在虚拟环境内部，解决的办法是把两种不同密度材料的撞击和插入声音的数字录音全部拿来，由设计人员凭经验和直觉选出几种候选对象，然后再用合成的方法进行加工。 定位问题是另一个在音频系统中受重视的问题。 人确定声源方位的能力要强于仅仅探测到达两激励间差别的延迟，很显然人们可以区别声音是高还是低，在听者前还是后，即使声音可能来自听者中间。NASA空军研究中心的科研人员已研制出一些测量及应用与头部相关的转换函数HRTF技术，在人体的耳道中放人很小的麦克风，用许多不同源的位置记录头部对脉冲的响应，然后将HRTF