基于扩散过程的语音合成研究综述.docVIP

基于扩散过程的语音合成研究综述

一、扩散模型基础理论与语音合成适配逻辑

扩散模型的核心思想源于非平衡热力学，通过向原始数据逐步添加高斯噪声构建前向扩散过程，再通过神经网络学习逆向去噪过程实现数据生成。在语音合成场景中，原始输入通常为梅尔频谱或语音波形，前向过程通过$T$步迭代将干净数据$x_0$转化为近似高斯分布的噪声$x_T$，每一步加噪满足：$$x_t=\sqrt{1-\beta_t}x_{t-1}+\sqrt{\beta_t}\epsilon_t,\quad\epsilon_t\sim\mathcal{N}(0,I)$$其中$\beta_t$为预设的噪声schedule，取值随$t$增大从$10^{-4}$逐步提升至$0.02$。逆向过程则通过训练网络$\epsilon_\theta(x_t,t)$预测每一步添加的噪声，逐步从$x_T$还原出$x_0$。

与传统自回归语音合成模型相比，扩散模型的适配需要解决语音数据的时序特性问题。语音信号具有强局部相关性，频谱特征在帧间存在连续过渡关系，因此常规图像领域的扩散模型无法直接迁移。早期研究通过引入时域卷积、自注意力模块捕获时序依赖，同时针对语音数据的动态范围特点，对输入特征进行归一化处理：将梅尔频谱压缩至$[-1,1]$区间，避免噪声添加过程中特征溢出。针对语音合成的高实时性需求，研究人员进一步优化噪声sche