数字化娱乐中的图形技术.ppt

数字化娱乐中的图形技术 郭百宁 微软亚洲研究院 2002年6月 数字化娱乐 交互娱乐 (视频游戏) 视频动画 (虫虫特工队, 玩具总动员等) 电影特效 (e.g. 矩阵中的特效) . 数字化娱乐 交互娱乐 (视频游戏) 视频动画 (虫虫特工队, 玩具总动员等) 电影特效 (e.g. 矩阵中的特效) 电影与视频游戏的结合 具有电影画质的游戏 使现实影像变得虚幻而富于想象力 使虚幻的世界显得真实 Xbox 挑战 #1: 真实 开始相信虚幻离奇的场景 不可思议的事情在你眼前发生 但是你相信这些, 因为它们看上去”真实” 真实感动画 动作真实 情感真实 具有真实感且人们熟悉的材质 “皮肤”看上去和皮肤一样 真实感动画 光场变形(Light field Morphing) : 虚幻与现实的融合 在真实物体与虚幻物体间进行变形 论文已被 Siggraph 2002 接受 真实感动画 动作纹理 (Motion Texture) 产生逼真的动作以驱动虚幻的演员 论文已被 Siggraph 2002 接受 真实感动画 实时水面模拟与渲染 可以模拟海洋, 河流, 瀑布等. 将来的Xbox游戏将会采用此技术 真实感材质 传统的纹理映射令人满意吗? 真实感材质 BTF = bidirectional texture function 为什么要提出 BTF? 传统纹理映射只是对现实世界材质外观的一个很粗略的近似 BTF 则能够表现材质的 自我阴影(self-shadowing), 自我遮挡(self-occlusion), 反光(specularity), 等现象. 从稀疏的采样得到 BTF 真实感材质 物体表面上的 BTF 合成 把真实感材质映射到任意曲面上 论文已被 Siggraph 2002 接受 真实感材质 真实感羽毛的建模与渲染 一个 BTF 的应用 论文已被 Siggraph 2002 接受 真实感材质 体内散射(Subsurface scattering) 例 : 针织物渲染 (knitwear rendering) 相关论文在 Siggraph 2001 挑战 #2: 带宽 Xbox 的实际需求 游戏数据的累进传输 在相关游戏数据下载完之前就可以开始玩 系统研究项目 引导我们的研究方向 具有产品效应 虚纹理(Virtual Texture) 虚纹理(Virtual Texture) 虚纹理(Virtual Texture) 虚纹理(Virtual Texture) JPEG2000 vs. Virtual Texture 基于小块(patch)的纹理合成 虚纹理(virtual texture)的理论基础 一个在成熟领域里探求新的课题的例子 由带宽问题激发从而提出此题目 为什么要用基于小块的纹理合成? 为了适应带宽 过程纹理: 快速并且节省带宽 Perlin 噪声: 5行代码表示一个 5123 的体纹理 问题 : 能表现的纹理种类有限 纹理合成 :能表现所有的纹理种类 基于小块的合成: 结合两者的优点 基于小块的采样 假设具有 MRF 性质, 由R的周围的已知的边缘区域Z估计R中的内容 基于小块的采样 假设具有 MRF 性质, 由R的周围的已知的边缘区域Z估计R中的内容 在输入中, 寻找所有具有与Z相似的边缘区域的小块 基于小块的采样 假设具有 MRF 性质, 由R的周围的已知的边缘区域Z估计R中的内容 在输入中, 寻找所有具有与Z相似的边缘区域的小块 随机地选取一个小块 不受限的纹理合成 受限制的纹理合成 (1) 受限制的纹理合成 (2) 研究重点 随机拼图(Chaos Mosaic): 基于小块纹理合成的先驱工作 有很多后续的工作 ([Praun et al ‘00], [Efros Freeman ‘01], etc) 基于小块的采样 : 对于高质量纹理唯一的实时算法 论文发表在 ACM TOG, July ’01 一个可靠的理论框架 基于 Julesz ensemble [Zhu et al ’00] 与其他方法的比较 总结 数字化娱乐是高科技工业的一大驱动力 图形学的两大挑战是 : 真实感 与 带宽 微软亚洲研究院处于新图形技术研究领域的前沿 Input R Synthesized Boundary zone Z 目前的工作 : texture quilting [Efros Freeman ‘01] Input Synthesized Input Synthesized Input Synthesized Input Synthesized 256?256 texture 128x128 hole Synthesized Input Synthesized 2?2 tiling