虚拟空间会议系统的音频合成技术的研究和实现.pdfVIP

虚拟空间会议系统的音频合成技术的研究与实现 孙雷孙立峰王晖昊玲述贺宝权 国防科技大学多媒体研究开发中心，长沙，410073 j膏要：虚拟空闭套议系统能够使与奇者在一个共同的虚枞环境中以较自然的方式进行信息交泣， 语音合成是虚拟会议实现的关键技术之一，其目的是构造真实的会场交谈环境，实现与会者之闻基于空 闽住王的听觉感知．之中分析了语音舍成时虚拟会议体系结构的要求，在此基础上提出了竹对不同的耷 议应用模式的语音合成方法，并在虚拟会议原型系统中对其进行了实现． 关键词：语音合成，三维声音，虚拟空间会议，虚拟现妾 1虚拟空间会议系统的{既念 当前，多媒体会议系统的研究与应用初步实现了跨地域的人们进行面对面的研讨与协 同工作，但是仍存在以下不足之处： 。信息完整性：在多媒体会议系统中，与会者无法在同一时刻获得所有与会者的视音 频信息。同时多媒体会议系统无法表达与会者之间的感知信息(Awareness)。 。与会者之间的交互方式与交互深度：实际会议中，与会者之间存在更深层次的交互 行为，如身体语言(bodylanguage)、眼神接触(eye 等自然的交互方式在多媒体会议系统中尚未实现。 。会议的空间感与真实蓥：多媒体会议系统会议进行过程中缺乏真实的会场气氛，不 同会场的与会者对整个会议的感知没有空间感，无法构造真实的交谈环境，与会者无法对 其他与会者的空间分布进行感知。 。协同工作的支持粒度：实际应用中，借助虚拟现实技术，构造所有与会者能够共同 体验的虚拟环境或仿真环境，才能更准确地进行交流与合作，多媒体会议系统目前还缺少 通过虚拟现实技术对协同仿真、共享环境体验等协同工作的支持。 虚拟空间会议系统(V打tⅧ】SpaceTe]aconferenoiagsyst％，简称VST)是近几年 才提出的概念，它是多媒体会议系统与虚拟现实技术相结合的产物。在多媒体会议系统中， 与会者能相互听到对方的声音，看到对方的图象，但对于人与人之间的交往，仅有这一点 是远远不够的。大量的研究表明“’2’3。‘56。”，由多人交谈所构造的氛围，讲话者语音、肖 像的空间分布，以及与会者关注方向，与会者之间的眼神、身体接触等对于相互间加强信 任、增进了解、充分表达自己的观点等都是至关重要的。虚拟空间会议系统的目标是为了 提供上述自然方式的信息交流，从而在异地的与会者之间实现更为真实、自然的集成研讨 与协同工作环境，使得所有的与会者都能集成到一个菸同的虚拟环境中，通过视觉、听觉 感知所处的环境、其他与会者的存在及其活动，并在与会者之间开展协同工作。 2虚拟空间会议系统中的语音合成 ·4J2· 2虚拟空问会议系统中的语音合成 2．1语音合成的概念 虚拟空间会议系统语音合成的概念体现在两个方面： 。语音信息的完整性 虚拟空间会议系统能够使与会者在一个共同的虚拟环境中进行语音信息交流，实现这 种真实的交谈环境必须保证每个与会终端都能够收听到其他与会终端的语音信息，语音合 成就是将多路与会者的语音信息合成为虚拟会场环境的语音信息，所有与会者通过接收虚 拟会场的语音信息实现多人之间自然的语音交流． 。语音信息的空同性 在虚拟会场中，每个与会者都是虚拟会场空间中的一个声源，这些声源具有空间上的 分布性，其位置对应于与会者在会场中的位置；同时每个与会者在不同的空间位置接受其 他声源的语音信息，这些声源语音信号因其所处的空间位置而具有空间性，这种空问性主 要体现在与会者声音的方向性和距离感。语音合成就是要重构这种语音的空间性，对接收 到的空间中各个声源语音信号根据其相对与会者的位置、方向进行听觉处理，并对处理结 果进行叠加合成最终形成与会者在其席位上所应听到的音频信号。 2．2虚拟会议语音合成的特点 虚拟空间会议系统语音合成具有以下特点： ·面向与会终端 与会终端在虚拟会场中具有不同的空间位置，语音合成的结果要能体现出这种空间位 置的差异，即同一与会者的语音信息在不同的与会终端经过合成后具有不同的空间效果。 ·合成的动态性 一方面，虚拟会议中与会者的加入、退出是动态进行的，相应地参与语音合成的声源 也随之动态变化；另一方面与会者语音信息也具有动态不确定性，无法进行预处理。 ·声源空间位置的相对周定性 进行语音合成需要建立虚拟会场的三维声场模型，三维声场模型是声音在