基于VITS与对抗学习的低资源方言语音合成前端文本处理与声码器设计.docxVIP

PAGE2

基于VITS与对抗学习的低资源方言语音合成前端文本处理与声码器设计

摘要

方言语音合成在文化传承、无障碍沟通及智能语音服务中需求迫切，然而方言音素标注语料稀缺，严重制约了合成质量。本课题设计并实现了一套面向低资源方言的语音合成系统，重点改进前端G2P模型并设计多说话人判别器增强的声码器。系统围绕VITS端到端合成框架展开，通过融合对抗学习的多说话人判别器提升音色还原与自然度，前端引入迁移学习与规则对齐的轻量G2P网络，将方言文本准确转换为音素序列。设计过程严格遵循需求分析、总体架构、详细设计、实现与测试的工程递进思路。第一章分析方言合成痛点与技术需求，第二章论证VITS与对抗学习的适用性，第三章细化系统功能与非功能指标，第四章给出分层模块化架构，第五章深入前端G2P与多说话人判别器卷积网络的核心算法，第六章展示实现过程与难点突破，第七章通过主观测听与客观指标验证合成效果。测试结果表明，在仅有3小时方言数据的条件下，系统合成语音MOS达3.82，较基线模型提升0.41，有效缓解了低资源方言合成中音素准确性与自然度不足的问题。

第一章绪论

1.1研究背景

方言是地域文化与身份认同的重要载体，但其语音合成技术的成熟度远落后于普通话。现有主流语音合成系统高度依赖大规模高质量音素标注语料，而多数方言仅存在零散、非规范化的音频资源，缺乏对应的文本与音素标注。此矛盾导致方言