虚拟现实技术导论 课件 第4章 虚拟现实渲染及相关技术.pptx

虚拟现实技术导论第1章概论

本讲大纲4.1虚拟现实渲染的有关概念面面4.2虚拟现实视觉渲染的主要方法4.3场景组织例——大规模虚拟场景实时碰撞检测4.4场景绘制优化例——基于LOD的点云绘制4.5习题

4.1虚拟现实渲染的有关概念

虚拟现实系统逻辑结构渲染几何建模物理建模行为建模运动建模

与虚拟环境的关系和作用虚拟现实：3D+人机交互渲染目的：将虚拟环境输出，作用于参与者

绘制/渲染技术分类从感知通道角度视觉渲染：将几何模型按照视觉原理进行表现触/力觉渲染：提供力觉/触力觉感知信息听觉渲染：提供逼真的听觉感受味/嗅渲染：提供味觉/嗅觉感知信息

视觉渲染在J.J.Gibson提出的概念模型中，人的感知系统也是划分为视觉、听觉、触觉、味/嗅觉和方向感五部分，其中对客观世界的感知信息75%-80%来自视觉为了在有限的计算、存储资源条件下提高虚拟环境中用户视觉感知的逼真性，需要对视觉感知系统的主要要素抽象

视觉渲染分类基于几何的绘制技术：输入数据为虚拟对象的几何信息基于图像的绘制技术：常见方法有光场计算、流明图、同心拼图、全景拼图等几何与图像结合的绘制技术：主要研究图像图形融合时的几何一致性和光照一致性等方面的工作虚拟现实视觉渲染技术大都是围绕提高真实感和实时性展开的

听觉渲染听觉是人类仅次于视觉的第2大感知来源，人类对客观世界的感知信息有15%左右来自听觉。听觉渲染就是要对这些声源的音频特征和空间信息进行渲染，包括声音的模拟、合成及定位等。空间信息可以体现虚拟环境的立体感和真实感，所以，声音定位是实现逼真三维音效的关键技术。

听觉渲染相关概念头部相关传输函数（Head-relatedTransferFunction，HRTF）通过理论计算获取：边界元法、有限元法和非有限元法IFEM等通过实验测量获取：获取真实空间听觉测量数据，然后经过特征提取，基于已知的测量数据预测非测量点上的数据声音纹理在声音节点中增加效果域（增强了对三维声音的空间表现力，使听觉渲染更为逼真和富有沉浸感）在声音效果节点中设置预设域（简化了对环境声音的描述）用来描述人的听觉系统对不同方位的声音产生的不同频谱特性使用节点和域的方法对环境声音进行建模

力/触觉渲染技术力/触觉渲染需要借助力触觉设备进行碰撞检测和碰撞响应用户操纵力触觉设备碰撞检测碰撞检测算法发生碰撞碰撞响应提供虚拟对象的相关力触觉信息空间剖分、层次细节LOD由于人的触觉灵敏，力触觉渲染至少需要1kHz的刷新频率才能给人以真实感。因此，高刷新率和快速计算成为力触觉渲染技术研究的一个重点。

力/触觉渲染技术力/触觉渲染需要对物体表面的纹理进行模拟当三维物体的表面纹理是由二维图像直接映射而成时，采用基于图像的触觉纹理映射，将纹理的二维纹元中的颜色和灰度信息映射为高度信息也可以通过参数化的方法合成触觉纹理，例如使用噪声纹理，经过适当的扰动函数生成自然纹理。对象的几何和物理建模提供的属性反作用力触觉纹理计算映射适当扰动使用户能够感知并区分不同的物体表面基于图像的映射基于过程的映射

嗅/味觉渲染嗅觉是由化学刺激产生的，研究表明与气味有关的感受器至少有数百个，而且每个感受器可检测多种分子，所以类比视觉中的颜色空间，使用几种“基础气味”来合成任意气味的思路的实现是困难的 鉴于特定应用环境中所需要的气味并不是很多，目前虚拟现实系统中主要研究气味的传播。

嗅/味觉表现技术示例日本的千元国宏等开发的嗅觉模拟器，用户把能放出香味的换装嗅觉提示装置套在手上，换装装置里装着8个小瓶，分别盛着8种水果的香料。童虎头戴虚拟环境图像显示器，看到对应的水果，用指尖把显示器拉到鼻尖上，位置感应器检测到鼻子的位置与显示器接近，嗅觉提示装置就会根据显示器上的水果形象释放特定的香味。由于味觉与化学物质、触觉和声音等多方面的因素有关，对其进行表现的难度很大。Iwata等因此称之为虚拟现实的最后战线。

4.2虚拟现实视觉渲染的主要方法

虚拟现实视觉渲染的主要方法大部分技术来源于计算机图形学中的真实感渲染技术和实时渲染技术：基于几何的绘制（Geometry-basedRendering）基于图像的绘制（Image-basedRendering）几何与图像结合的绘制

基于几何的绘制虚拟对象的几何模型网格、体素、点云，或是参数化的函数等虚拟对象具备了空间位置信息、表面、材质等属性高真实感的渲染结果表现形式几何建模真实感光照计算真实感光照计算是指在虚拟场景中模拟真实光照，计算虚拟对象在特定光照下的呈现效果。复杂纹理映射纹理映射是指将具有颜色信息的图像附着在几何对象的表面

真实感光照计算局部光照计算虚拟对象某一点的亮度时，只考虑虚拟场景中的所有预定义的虚拟对象全局光照将整个环境作为光源，不仅