浅析3D虚拟声音实现.docVIP

浅析3D虚拟声音实现 　　[摘要]简要介绍3D虚拟声音生成的相关理论,同时简单介绍使用DirectSound模拟真实感声音的方法。 　　[关键词]虚拟现实3D虚拟声音DirectSound 　　中图分类号:TP3文献标识码:A文章编号:1671-7597(2010)0110040-02 　　 　　0 引言 　　在虚拟现实系统中,听觉信息是仅次于视觉信息的第二传感通道,听觉通道给人的听觉系统提供声音显示,也是创建虚拟世界的一个重要组成部分。在虚拟现实系统中加入与视觉并行的3D虚拟声音,一方面可以在很大程度上增强用户在虚拟世界中的沉浸感和交互性,另一方面也可以减弱大脑对于视觉的依赖性,降低沉浸感对视觉信息的要求,使用户能从既有视觉感受又有听觉感受的环境中获得更多的信息。 　　1 人类听觉系统结构和听觉特性 　　1.1 人类听觉系统结构 　　人耳的构造是非常复杂的。它是由外耳、中耳和内耳3部分组成。一般认为外耳在对声音感知中的作用:一是对声源的定位,二是对声音的放大。声源的定位是虚拟声音系统设计的主要研究内容。中耳的作用是进行声阻抗的变换和保护内耳。内耳是听觉的收纳器,把声音通过机械变换产生神经发放信号。 　　1.2 人类听觉特性 　　3D虚拟声音系统提3D声音质量优劣的最终决断应该是人的听觉,因此,应当了解人的听觉系统对于声音刺激的响应以及主观感觉及其评价方法。下面简单介绍主要的听觉特性:① 声音信号的强弱感应与信号的频谱状况有关。② 人对声音频率的感觉表现为音调的高低,在音乐中称为高音。③ 人对同样强度但不同频率的声音主观感觉的强弱不同。④ 人类听觉存在非线性,即声音信号在人的听觉系统中会被非线性调制。⑤ 人类听觉的方向感应,使人耳能分辨声波到达两耳的相对时间差、压力差,判别声源空间方位。 　　2 3D虚拟声音的基本理论 　　2.1 3D虚拟声音的概念 　　虚拟现实系统中的3D虚拟声音与人们熟悉的立体声音完全不同。我们日常听到的立体声录音虽然有左右声道之分,但就整体效果而言,我们能感觉到立体声音来自听者面前的某个平面;而虚拟现实系统中的3D虚拟声音,却使听者能感觉到声音是来自围绕听者双耳的一个球形中的任何地方,即声音可能出现在头的上方、后方或者前方。因而把在虚拟场景中能使用户准确地判断出声源的精确位置、符合人们在真实境界中听觉方式的声音系统称为3D虚拟声音。 　　2.2 3D虚拟声音的特征 　　在3D虚拟声音系统最核心的技术是3D虚拟声音定位技术,它的特征主要有: 　　2.2.1 全向3D定位特性 　　全向3D定位特性是指在3D虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。它能使用户准确地判断出声源的精确位置,从而符合人们在真实境界中的听觉方式。 　　2.2.2 3D实时跟踪特性 　　3D实时跟踪特性是指在3D虚拟空间中实时跟踪虚拟声源位置变化或景象变化的能力。当用户头部转动时,这个虚拟的声源的位置也应随之变化,使用户感到真实声源的位置并未发生变化。 　　2.2.3 沉浸感和交互性 　　3D虚拟声音的沉浸感就是指加入3D虚拟声音后,能使用户产生身临其境的感觉,有助于增强临场效果。而3D声音的交互特性则是指随用户的运动而产生的临场反应和实时响应的能力。 　　3 3D虚拟声音的重建模 　　虚拟场景中3D虚拟声音的重建模需要确定以下问题:一是确定声源;二是确定声音对象的属性参数(如位置、音量、距离、速度、方向等)和播放过程(如起止时间等)。 　　3.1 声源的确定 　　声源的确定即声音数据的存储及与空间实体的对应关系的确定。声音数据一般是以文件或资源的方式存储的,原则上不同的声音对象分别对应不同的空间实体,但它有以下3个特点: 　　3.1.1 减小数据量 　　WINDOW下音效文件的使用一般采用WAV文件格式。由于声音数据是存储在内存中的,混音时要进行大量的处理,因此要尽量保持数据量小,通常音效只是一小段,不会超过数秒或数十秒。 　　3.1.2 单元化 　　考虑到声音的重复性、连续性,可以构造一种声音片段或单元(sound 　　-cel1),重复播放。 　　3.1.3 声音数据共享 　　并不是每个空间有声实体都有自己的一份声音数据。相同类型的空间实体可以共享一份声音数据,这样可以将声音数据统一存储、管理,通过指针的分配与空间实体对应。 　　3.2 真实感声音的属性变量 　　真实感声音的属性变量包括位置、方向、距离、音量、速度及起止时间。 　　3.2.1 位置 　　由于真实感声音的生成是虚拟环境中的声音仿真,可以采用绝对位置和相对位置,但必须保持两者坐标系和单位的统一。实体声音中点状声源的3维坐标就是产生该声音的空间实体的位置,面状声源的3维坐标取其几何中