虚拟现实中的人机交互技术.pptVIP

2006动漫游戏与人机交互技术研讨会 虚拟现实中的人机交互技术 潘志庚 浙江大学CADCG国家重点实验室 浙江大学数字娱乐与动画研究中心 电话: 571509,电子邮件: ZGPAN@CAD.ZJU.EDU.CN QQ: “新手上路”:443922077 MSN:zhigengpan@ 博客:教授难当还要当 :/u/1250780752 第一部分：概述(1) * ZJU有关人机交互的研究[比较弱] 虚拟环境中的交互技术 多模态交互技术[CAVE环境下的虚拟装配] 基于视觉的交互[虚拟人工鱼,手机评估系统] 情感交互技术[电子学习环境ELVIS] 基于虚拟人/AVATAR的交互 接触式交互技术[虚拟保龄球,虚拟乒乓球,网络马拉松] 脑-机交互技术 人机交互中的心理学 虚拟现实/增强现实/混合现实 (一) 虚拟现实与人机交互 二种观点: * 虚拟现实是一种全新的人－机交互技术，它融合了计算机图形学、人工智能、计算机网络和分布式处理等学科分支。 * 虚拟现实技术是包括计算机技术、人机交互技术、检测技术和控制技术等在内的多个技术高度集成的产物，具有沉浸性、交互性和构想性三大特征。 和谐人机环境: 作为一种新型人机交互形式，虚拟现实技术比以前任何人机交互形式都有希望彻底实现和谐的、“以人为中心”的人机界面。 (二) 虚拟环境中的人机交互 二维/三维人机交互 (二) 虚拟环境中的人机交互 接触式/接触式人机交互 实例系统 * 虚拟保龄球游艺机[浙江大学+杭州锋线图形公司] 实例系统 * 虚拟网络马拉松[浙江大学+南京大学+国家体科所] 实例系统 * 虚拟解剖教学系统[日本GIFU大学](有演示) * 魔术书 [国立新加坡大学] (有演示) * 虚拟日本京都公园设计系统[国立新加坡大学] (有演示) * 虚拟手机展示与评估(浙江大学+POSTECH) (三) 基于视觉的人机交互 * 使用CAMERA跟踪虚拟环境中的人或物体的运动, 进行识别处理, 完成人与虚拟环境的交互动作. 涉及CG, CV, IP, UI, VE, PR等. 手机定制流程 产品展示的通常开发流程 评估系统的物理构成 两种虚拟展示环境的建立 运动捕捉设备 * * State Key Lab of CAD CG, Zhejiang Univ. 手机定制系统的界面 (四)例子:手机定制\虚拟展示和评估系统 控制模块 重新设置位置 重新设置尺寸 重新设置颜色 选择形状 错误信息 错误信息 错误信息 尺寸 Y N 形状存在? 形状存在? 形状存在? 控制模块？ 位置 颜色 形状 Y N Y N 上盖/下机体的其它组件存在否？ 上盖 主体 下机体 主体 其它 组件 Y N 错误信息提示 组件存在? 组件结构树 C 用户 C C 手机控制模块 的工作流程 手机的总体定制流程 (a) (b) (c) 真实环境 虚拟环境 展示环境 显示 Fastrak tracker for head-tracking Integrated circuit board for pick-up camera Pick-up head of camera Shelf for fixing the pick-up head the receiver of 3D mouse Earphone Earphone 头盔显示设备 (HMD) 的结构 评估系统的物理构成 无线按键设备 两种虚拟展示环境的建立 由Fastrak获取的平面数据变形图 数据捕捉系统 UltraTrak Pro与FasTrak示意图 * * State Key Lab of CAD CG, Zhejiang Univ.