汉语TTS中的韵律建模与合成方法研究的中期报告.docxVIP

汉语TTS中的韵律建模与合成方法研究的中期报告

本研究旨在探讨汉语TTS中的韵律建模与合成方法，以提高文本转语音系统的自然度和可理解性。在此中期报告中，我们主要介绍了以下几个方面的工作进展：

一、梳理了现有的汉语韵律建模与合成方法

我们通过文献调研和资料阅读，对当前汉语TTS中的韵律建模与合成方法做了整理和总结。对于韵律建模，我们将其分为音素级、音节级和短语级三种建模方法；对于韵律合成，我们则主要关注基于规则的合成方法、基于统计学习的合成方法以及混合方法等。此外，我们还对各种方法的优缺点和适用范围做了对比和分析。这些工作为我们后续的研究提供了参考和指导。

二、设计了汉语韵律特征提取模块

在本研究中，我们选择了基于深度学习的韵律建模方法，并首先设计了汉语韵律特征提取模块。该模块主要包括基础特征提取和高级特征提取两个部分。其中，基础特征包括音高、能量和时长等，并采用连续分布卷积神经网络（CD-CNN）进行特征提取；高级特征则考虑了更为细致的韵律信息，如语调变化、停顿位置等，并采用长短时记忆网络（LSTM）进行特征提取。通过实验测试，我们发现这样的韵律特征提取模块可以有效地抽取汉语语音信号的韵律信息。

三、设计了汉语韵律建模模块

基于前述特征提取模块，我们进一步设计了汉语韵律建模模块。在该模块中，我们采用了多层感知机（MLP）和GatedRecurrentUnit（GRU）网络，将基础特征和高级特征进行融合，并对不同级别的韵律信息进行建模。特别地，对于汉语中的重音问题，我们采用了一种“区间依存重音”模型，将重音特征嵌入韵律建模中。实验结果表明，我们设计的韵律建模模块可以有效地提高TTS系统的自然度。

综上所述，我们在本研究中初步建立了汉语TTS韵律建模与合成方法的框架，并在其中实现了韵律特征提取模块和韵律建模模块。下一步，我们将进一步完善这些模块，并加强不同模块之间的协同工作，以提高TTS系统的整体表现。