基于自回归模型的语音生成研究综述.docVIP

基于自回归模型的语音生成研究综述

一、自回归模型语音生成的技术基础与发展脉络

自回归模型的核心思想是通过序列中前序元素的分布来预测当前元素的概率，这一特性天然适配语音信号的时序依赖性。语音作为典型的一维时序信号，其相邻帧之间存在强相关性，前一帧的声学特征直接影响后续帧的发音走势，这种固有属性使得自回归模型在语音生成领域具备先天优势。早期的语音生成技术主要依赖参数合成方法，通过隐马尔可夫模型（HMM）对声学特征的状态转移概率进行建模，但受限于模型的马尔可夫假设，仅能捕捉短距离的时序依赖关系，生成语音存在明显的机械感与不连续性。

2016年WaveNet模型的提出标志着自回归语音生成技术进入深度学习时代。该模型采用扩张因果卷积架构，通过堆叠多层扩张卷积层，在不增加计算复杂度的前提下大幅扩展了感受野，能够捕捉到数千帧跨度的时序依赖关系。WaveNet将语音波形的生成建模为离散采样点的条件概率分布，每一采样点的取值仅依赖于之前所有采样点的输出，在客观指标与主观听感上均大幅超越了传统参数合成方法，首次让深度学习语音生成的效果接近自然录音水平。但WaveNet存在显著的推理效率缺陷，由于需要逐采样点迭代生成，生成1秒语音需要数千次前向传播，在GPU环境下也仅能达到实时率的1/100左右，难以落地到实时交互场景。

为解决WaveNet的效率问题，后续研究从两个方向推进自回归模型的优化：一是对模型