使用GAN进行语音模仿-Aeonni.PDF

第XX 卷 第X 期 使用 GAN 进行语音模仿 Vol. XX, No. XX XXXX 年 XX 月 Voice Impersonation Using Generative Adversarial Networks Febrary, 2018 使用GAN 进行语音模仿 原作者：Yang Gao, Rita Singh, Bhiksha Ra 翻译：Aeonni 和另外两人 卡内基梅隆大学电气与计算机工程系 摘 要 语音模仿与语音转换不同，后者是它的基本要素。在语音模仿中产生的 声音必须让人相信语音是由目标发言者自然产生的，不仅仅模仿音高和其他可感 知的信号，还有目标发言者的风格。在本文中，我们提出了一种基于神经网络 的风格模仿框架来进行语音的模仿语音。该框架建立在一个快速且准确的 GAN 上。对于给定源声音以及目标发言者的频谱图（spectrographic representations）， 模型会学习模仿目标发言者的语言风格而不管任一语音的语言内容，生成频谱 图，并使用 Griffin-Lim 方法与该频谱图重构时域信号。实际上，这个模型将众 所周知的图像的样式变换问题重构为了语音信号的样式变换问题，同时本质上解 决了语音的持续变化问题。实验证明该模型可以产生非常真实的语音模仿样本。 它甚至能够有效地进行跨性别的声音模仿。结果由评估合成的标准程序定性评估。 关键词 语音模仿，生成对抗网络，工作，风格转型，风格转换 中图分类号 Orz 文献标识码 A Voice Impersonation Using Generative Adversarial Networks Yang Gao, Rita Singh, Bhiksha Raj (Electrical and Computer Engineering Department, Carnegie Mellon University) Abstract Voice impersonation is not the same as voice transformation, al- though the latter is an essential element of it. In voice impersonation, the resultant voice must con- vincingly convey the impression of having been naturally producey the target speaker, mimicking not only the pitch and other perceivable signal qualities, but also the style of the target speaker. In this paper, we propose a novel neural- network based speech quality- and style-mimicry framework for the synthesis of impersonated voices. The framework is built upon a fast anccurate generative adversarial network model. Given spectrographic representations of source and target speakers’voices, the model l