虚拟现实人机交互综述.PDFVIP

中国科学 信息科学 年 第 卷 第 期 SCIENTIA SINICA Informationis 虚拟现实纵览专刊 评述 虚拟现实的人机交互综述 * 张凤军 戴国忠 彭晓兰 中国科学院软件研究所人机交互北京市重点实验室, 北京 100190 中国科学院软件研究所计算机科学国家重点实验室, 北京 100190 * 通信作者. E-mail: fengjun@ 收稿日期: 2016–10–26; 接受日期: 2016–12–03; 网络出版日期: 2016–12–22 国家自然科学基金(批准号:、国家重点研发计划 (批准号: 2016YFB1001403)、国家自然科学基金委员会与 新加坡国家研究基金会合作研究 (批准号: 61661146002) 资助项目 摘要 人机交互是虚拟现实的核心技术之一 对推进虚拟现实广泛应用和提高用户的体验具有重要 意义 由于传感器和其他硬件技术的发展 目前虚拟现实人机交互有了长足的进步 本文着重回顾与 分析了虚拟现实的人机交互范式 三维交互、手势交互、手持交互、语音交互、触觉交互和多通道交 互等虚拟现实与增强现实交互技术的主要研究成果和发展趋势 最后给出需要进一步致力研究解决 的若干问题 关键词 虚拟现实 增强现实 人机交互 用户界面 三维 手势识别 触觉界面 引言 虚拟现实是一种可以创建和体验虚拟世界的计算机系统, 它由计算机生成, 通过视、听、触、嗅 觉等作用于用户, 为用户产生身临其境的感觉的交互式视景仿真 . 沉浸感 (immersion)、交互性 (interaction) 和构想性 (imagination) 是虚拟现实系统的三个基本特征. 其交互性是在交互设备支持下 能以简捷、自然的方式与计算机所生成的 “虚拟” 世界对象进行交互作用, 通过用户与虚拟环境之间 的双向感知建立起一个更为自然、和谐的人机环境来保证的. 因此, 人机交互是虚拟现实为用户提供 体验、走向应用的核心环节. 人机交互是实现用户与计算机之间进行信息交换的通路, 用户界面则是这一通路传递和交换信息 的桥梁. 理想状态下, 人机交互将不再依赖机器语言, 在没有键盘、鼠标以及触摸屏等中间设备的情 况下, 随时随地实现人机自由交流, 从而实现人们的物理世界和虚拟世界的最终融合, 但受技术水平 的限制, 目前这种理想还达不到. 因此, 人机交互设计的目标是通过适当的隐喻, 将用户的行为和状态 (输入) 转变成一种计算机能够理解和操作的表示, 并把计算机的行为和状态 (输出) 转换为一种人能 够理解和操作的表达通过界面反馈给人. 虚拟现实一方面需要感知用户的肌肉运动、姿势、语言和身 体跟踪等多个感官通道的输入信息; 另一方面可以从人类的视觉、听觉、触觉、嗅觉等多个感官通道 引用格式 张凤军 戴国忠 彭晓兰 虚拟现实的人机交互综述 中国科学 信息科学 ⃝ 《中国科学》杂志社 张凤军等 虚拟现实的人机交互综述 模拟逼真的真实世界的感觉; 还可以根据用户的视点变化和不同输入, 迅速为用户提供实时的眼、耳、 身体所能感受到的感觉信息. 从交互的观点看, 虚拟现实是一种新的人机交互界面. 虚拟现实发展至今已经有近30 年的历史, 然而由于其通常需要使用价格昂贵的特定输入设备, 同 时在实际使用中缺少新的交互范式, 使得虚拟现实在显示设备的历史发展中, 没有进入主流应用. 如 今, 随着人机交互领域关键的人、事件、思想和范式的变迁以及心理学指导下的用户模型的不断改进, 虚拟现实正逐渐从科幻走入现实, 其重要性已经不仅局限于游戏娱乐领域, 它将从军事、航天航空、计 算机辅助设计、外科手术模拟、科学计算可视化、远程控制以及教育等各个领域改变这个世界. 未来 可能有这样一种可穿戴产品, 它会观察你日常的所作所为, 学习你为人处事的方法, 逐渐理解人与