基于虚拟化身的人-机交互 - 浙江大学.PPT

远程沉浸式虚拟奥运博物馆关键技术研究 浙江大学CADCG国家重点实验室 南京大学多媒体技术研究所 国家体育总局体育科学研究所 一 项目背景和研究意义(1) 在申奥时，提出建立“虚拟奥运博物馆”的计划[01年2月] 在获得奥运会主办权后，把该项目列入行动计划[01年9月] “虚拟奥运博物馆”是虚拟现实与数字博物馆技术的结合，它通过数字化和网络技术，介绍奥运历史、赛事等内容。 一 项目背景和研究意义(2) 介绍奥运的历史、发展，让中国人更加了解奥运。 充分展示中华古代体育文明，让世界更加了解中国。 为科技奥运服务，促进一系列相关技术的发展与进步。 二 相关研究工作及存在的问题(1) 数字博物馆利用计算机技术，对博物馆中的展示对象进行数字化，可以从时间、空间上对实物展品进行延伸。 借助三维、全景摄影等现代化手段，观众可从不同角度欣赏观察展品。 数字博物馆还增加了观众的选择性，变“给你看什么就看什么”为“我想看什么就看什么” 。 数字博物馆已在国内外广泛应用。 二 相关研究工作及存在的问题(2) 古代奥林匹克虚拟博物馆 [美国Dartmouth College] 奥运博物馆DVD/VCD[洛桑] 现有系统的不足： * 以二维图片或视频形式展示的比较多。 * 缺乏对运动项目的虚拟展示和仿真。 * 系统的交互性不够。 * 虚拟展品的绘制质量不高。 * 有些系统是单机运行的。 三 研究内容 (1) 1 建模与实时绘制技术 2 数字博物馆的交互技术 3 运动项目虚拟展示与虚拟人技术 4 面向数字博物馆的数据存储与检索 5 虚拟奥运博物馆原型系统 1．建模与实时绘制技术 (1)几何和图像的多分辨率表示 (2)基于图像/视频的建模和绘制 (3)实时绘制算法研究 2．数字博物馆的交互技术 (1)基于虚拟化身的人-机交互 (2)协同交互技术 (3)远程交互和多平台接口 3．运动项目虚拟展示与虚拟人技术 (1)虚拟人体建模及参数化技术 (2)运动控制技术 (3)运动库的构建 4．面向数字博物馆的数据存储与检索 (1)有效的多媒体数据存储结构 (2)基于网格环境的数据存储与管理 (3)基于内容的检索（图像、视频检索） 5．虚拟奥运博物馆原型系统 (1)基于网格环境的虚拟博物馆的体系结构 (2)虚拟奥运场馆的漫游 (3)体育运动相关游戏 四 关键问题与技术路线(1) （1）虚拟环境的实时绘制技术 （2）虚拟奥运博物馆中的交互技术 （3）虚拟人运动控制及运动项目的逼真展示 （4）基于奥运特征的多媒体信息的高效存储与检索 （5）虚拟奥运博物馆的体系结构及原型系统的实现 （1）虚拟环境的实时绘制技术 * 对复杂场景使用基于图像的绘制技术，包括全景图和基于单张照片的漫游； * 使用基于视频的绘制技术，合成任意视点的图象，满足交互和个性化需求； * 使用多细节层次模型和GPU的方法来加快绘制速度。 （2）虚拟奥运博物馆中的交互技术 * 在系统中提供一个虚拟向导，她负责导引用户在虚拟环境中进行浏览，可以与虚拟化身（代表用户）进行交互。 * 考虑到多个用户有时需要相互对话和讨论，将VRML技术与Java等其它技术结合，提高Internet环境下协同环境的交互性。 （3）虚拟人运动控制及运动项目的逼真展示 * 从多种数据源（三维扫描仪器、交互式造型工具、照片）建立人体模型； * 基于运动捕获数据的运动控制方法； * 建立运动信息库，并对运动项目进行模拟。 （4）基于奥运特征的多媒体信息的高效存储与检索 * 作为现有博物馆的藏品，其描述是非常准确和充分的。因此，大部分信息检索需求可以通过对藏品标注的信息进行全文检索处理来服务。 * 根据奥运媒体内容的特殊性，选择一套独特的特征集合，来完成基于内容的信息检索处理。 四 关键问题与技术路线(4) （5）虚拟奥运博物馆的体系结构及原型系统的实现 * 综合利用原始录像资料、动画、多语言解说、互动点播等多种手段，以三条线性内容(时间线、事件和人物线、 文物和艺术品线)为观众进行展示。 * 开发普适性的三维展厅生成工具，提供一种信息集成的手段，同时与页面、视频、声音、动画等其它媒体展现方式有机融合。 * 利用Globus提供的网格支持提供自治的资源管理和任务调度机制；使用多种数据网格技术，开发适用于虚拟博物馆数据分布存储的数据网格中间件。 * 考虑到不同系统的带宽以及登录设备的特性（如屏幕大小，分辨率