基于Transinger前端模型的端到端歌声合成方法.pdfVIP

摘要 歌声合成是语音合成的衍生技术，通过提取乐谱中的信息来合成电子歌声，是计 算机技术在音乐领域中的经典应用。从早期的样本拼接方法、参数式模型到当前的神 经网络模型，歌声合成系统的性能已经达到了人们能够接受的水平。目前相关的研究 工作都是基于串联式的模型结构，用乐谱信息中的歌词、音高和节拍等信息训练多个 模型协同工作。在构建歌声合成系统过程中，通常需要多个领域的专业人员协同工作， 模型训练难度大，工程时间长，并且串联模型容易出现误差累积，最终合成效果不稳 定。 受到语音合成技术研究的启发，本研究基于深度学习方法提出一种完全端到端的 歌声合成前端模型Transinger，它用于简化模型的构建和训练过程；在此基础上，根 据前端模型和歌声数据的特点，本研究对现有的神经网络声码器模型进行研究和改进， 分析声学特征和歌声数据的特点，对比前端模型和声码器在歌声合成任务中的效果， 最终提出一套端到端的歌声合成方法。实验结果证明本研究提出的方法可以合成高质 量且自然的歌声，并且证明音高条件控制方法可以加强声码器模型的鲁棒性和收敛速 度。此外，本研究也对多歌手的歌声合成任务进行尝试，发现Transinger 模型在添加 歌手身份信息的条件下，可以同时合成出多位歌手的歌声。 关键词： 歌声合成，神经网络，端到端，声码器 I 目录 目录 1 绪论1 1.1 研究背景与意义1 1.2 歌声合成发展历史及应用1 1.2.1 拼接合成方法2 1.2.2 统计参数合成方法2 1.2.3 神经网络合成方法3 1.2.4 歌声合成应用3 1.3 端到端的神经网络结构介绍4 1.3.1 端到端方法4 1.3.2 语音合成领域端到端合成方法3 1.4 论文创新点5 1.5 论文结构组织6 2Transinger 前端模型设计7 2.1 序列到序列任务和编解码结构介绍7 2.2 嵌入方法8 2.2.1 表示嵌入9 2.2.2 位置嵌入和位置编码9 2.3 条件控制方法10 2.4 注意力机制10 2.5 变形器模型13 2.6Transinger 前端模型15 3 改进声码器设计22 3.1Griffin-Lim 算法22 3.2World方法23 3.3WaveNet 模型22 3.4 WaveGlow 模型22 3.5LPCNet 模型22 3.6 歌声合成声码器改进30 4 实验结果分析33 4.1Pitch 条件模块前端实验34 4.2 Transinger 可选模块实验35 4.2.1PostNet 网络模块36 4.2.2 CBHG 网络模块37 III 目录 4.3Transinger 模型数据量实验38 4.4 独立歌声声码器实验40 4.5Pitch Condition WaveNet 实验41 4.6 声学特征对比实验42 4.7 多歌手Transinger 模型实验43 5 总结和展望44 5.1 总结44 5.2 展望44 参考文献46 个人简介51 导师简介52 获得成果目录清单53 致谢54 IV