虚拟现实声音实现技术论文.doc

对虚拟现实声音实现技术的研究 班级：计科1201 姓名：汪敏倩 学号：201226100117 摘要 听觉信息是人类仅次于视觉信息的第二传感通道，是增强人在虚拟现实中的浸没感和交互性的重要途径。它作为多通道感知虚拟环境中的一个重要组成部分，一方面负责用户与虚拟环境的语音输入，另一方面生成虚拟世界中的三维虚拟声音。本文首先描述了虚拟声音的概念、作用及特征，能够形成对虚拟声音的大概认识。然后着重介绍了各种听觉模型、语音识别合成技术、语音定位等关键技术。最后就虚拟现实声音领域目前所存在的问题以及应用领域、发展前景加以描述。 正文 ●三维虚拟声音的概念与作用 ①概念介绍: 三维虚拟声音与人们熟悉的立体声音不同。就立体声音而言，我们可以调整它的左右声道，但是，整体来说我们能够感受到的立体声音还是来自于听者的某一个平面。而三维虚拟声音的体验，听者可以感知到来自四面八方的声音，相当于整个声音系统像一个球形空间围绕着听者的双耳，所以听者可以感受到整个球形空间的任何地方的声音。 举个例子来说，如果你在体验一个虚拟现实的射击游戏，你作为游戏中的战斗者，当听到了敌人的射击枪声时，你可以像在现实世界中一样，能够及时准确得分辨出枪声的来源方位，如果敌人在你背后你也可以分辨出来，而这在平时的立体声音中是完全体会不到的。所以，三维虚拟声音更加符合我们在真实境界中听觉方式。 图1三维虚拟声音示意图 ②三维虚拟声音的作用 在虚拟现实系统中加入与视觉并行的三维虚拟声音，一方面可以在很大程度上增强用户在虚拟世界中的沉浸感和交互性，另一方面也可以减弱大脑对于视觉的依赖性，降低沉浸感对视觉信息的要求，使用户体验视觉感受、听觉感受带来的双重信息享受。总得来说，声音的作用有如下几点： ●声音可以作为用户和虚拟环境的一种交互方法，我们可以通过语音交流与虚拟世界取得联系； ●数据驱动的声音能传递对象的基本属性信息； ●增强空间信息，特别是当空间超出了视觉范围，这个时候，就完全要靠声音来识别。 ●三维虚拟声音的特征 三维虚拟声音主要的特征有全向三维定位特征、三维实时跟踪特性以及沉浸感与交互性。下面对它们分别做介绍： ①全向三维定位特性是指在三维虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。它能使用户准确得判断出声源的位置，非常符合我们在现实生活中的听觉感受。举个例子来说，在现实生活中，我们一般都是先听到声响，然后再用眼睛去看这个地方，三维声音系统允许用户根据眼睛注视的方向以及根据所有可能的位置来监视和识别各种信息源，由此可以看出，三维声音系统可以利用粗调的机制用以引导较为细调的视觉能力的注意。在有视觉干扰的虚拟环境中，这一点尤其重要，这个时候，我们一般会通过听觉感受来引导肉眼对于目标位置的搜索，这种方法肯定要优于没有任何辅助而直接用肉眼搜索目标。即使是对处于视野中心的物体也是如此，这就是声学信号的全向特性。 ②三维实时跟踪特性是指在三维虚拟空间中实时跟踪虚拟声源位置变化或景象变化的能力。比如说，当用户的头部转动时，虽然虚拟声源在虚拟场景中的绝对位置没有发生改变，但是它相对于用户头部的位置发生了变化，所以用户的听觉感受也应该发生变化，从而使用户感受到声源位置的固定性。而当虚拟发声物体移动位置时，用户的听觉感受也应随之改变。只有声音效果与实时变化的视觉相一致，才能产生视觉与听觉的叠加与同步效应。如果三维虚拟声音系统不具备这样的实时变化能力，看到的景象与听到的声音就会相互矛盾，听觉就会削弱视觉的沉浸感。 ③三维虚拟声音的沉浸感就是指在三维场景中加入三维虚拟声音后，能够使用户在听觉与视觉交互的同时能够有身临其境的感觉，使人沉浸在虚拟世界中，有助于增强临场效果。三维声音的交互特性是指随用户的运动而产生的临场反应和实时响应的能力。 ●三维虚拟声音的建模方法 为了建立具有真实感的三维虚拟声音，一般从最简单的单耳声源开始，然后通过专门的三维虚拟声音系统的处理，生成分离的左右信号，分别传入听者的左右耳朵。以此来使听者准确定位声音的位置。目前常用的听觉模型包括头部相关传递函数、房间声学模型、增强现实中的声音显示。 ①有很多致力于研究从声源发出的声波是如何传输到人耳中的，声波从声源处到鼓膜处的变化其实可以看做是人的双耳对声波的滤波作用，它主要表现为人的头、躯干和外耳构成的复杂外形对声波产生的散射、折射和吸收作用，人们将声波从自由场传到鼓膜处的变换函数称之为与头部相关的传递函数HRTF（Head-Related Transfer Function）。由于每个人的头、耳的大小和形状各不相同，所以HRTF也因人而异。但是这些函数通常是从一群人获得的，因而它是一组平均特征值。获取HRTF的一般方法是：通过测量外界声音及人耳鼓膜上的声音频谱差异，即可获得声音在耳附近发