语音合成语料库技术报告.docVIP

语音合成语料库 TH-CoSS 技术报告 清华大学计算机科学与技术系 人机交互与媒体集成研究所 2003．12． 语音合成语料库技术报告 （TH-Corpus of Speech Synthesis） 0．前言 在语音合成技术日益成熟走向市场的今天，作为语音合成的基础的语音合成语料库扮演着越来越重要的角色。作为语音合成和语音分析的物质基础，建立设计合理、高质量录音的语音语料库有着极为重要的研究价值和实用价值。本语音合成语料库（TsingHua - Corpus of Speech Synthesis, 简称TH-CoSS）是由清华大学人机交互与媒体集成研究所完成。该语料库可以用于语音合成的研究、开发和评测。根据研究、开发和市场的需要，本文简要介绍本语料库的设计与使用。 第一部分 语音合成语料库的设计 该语音合成语料库由四部分组成： 普通话TTS系统语料库，为汉语普通话朗读语句，男女声各1人，共约10000句。 普通话TTS系统测试语料库，为汉语普通话朗读语句，男女声各1人，约2000句。 普通话语调分析用数据，自然对话语句，多于1000句，覆盖多种语调和语气。 连续语流篇章语音数据库，选自广播或电视，以汉语标准普通话为主。 下面分别就其设计思想进行介绍，重点介绍普通话TTS系统语料库和普通话语调分析用语料库的设计与建立。 1.1普通话TTS系统语料库设计 TTS系统建库语料语句以陈述句为主, 长度为5-25个音节，其中男声4535句，女声5406句。此外语料库还包含一定数量的轻声、儿化音节组，以及上声单音节汉语音节表。 1.1.1 设计用语料 我们针对基于大语料库汉语语音合成系统的需求，进行语音合成用语料库的设计。其原始语料来自《现代汉语词典》和2000年全年的人民日报，并且参考了国家语委公布的必读轻声和儿化词表。 1.1.2 设计原则 1.1.2.1文本设计的目的和要求 语料库的设计是指选取语音数据的内容或选取录音文本。这是语料库的关键问题之一。涉及的问题包括：明确需求和目的；确定语音基本单位；收集语料资源；研制语料选取算法；目标是得到最小冗余度、最大覆盖率、科学合理的语料集。采用以语音学知识指导的计算机处理方法。语料库的文本设计包括以下工作： 明确需求：通常一个语料库都以满足某个研究需求为目标。针对不同的语音处理需求，设计专门的语料库，如：语音识别用语料库和语音合成用语料库；采集的数据又分高信噪比语音数据、电话语音或高背景噪声语音；还有包括视频通道的音频数据，可以用于口形辅助语音识别的研究，或用于可视语音转换的研究。语音识别研究的课题分为特定人与非特定人、孤立词与连续语音识别、语音识别与说话人识别、本地PC上的识别与电话语音识别，为此语料库的文本设计要针对系统的需求进行。这里，我们设计的语料库主要面向汉语普通话语音合成系统。 确定内容：在明确语料库的用途后，要进一步明确语料库的内容。语料库的内容应具有代表性。如应包括的基本声学单元，这些声学单元在连续语流中的音变变体和音段间的过渡，以及适当的语境。针对西方语言的语音处理，其基本单元可能是音子（phone）、双音子（di-phone）或三音子（tri-phone）。如果把双音子作为研究基元，语料库中应覆盖所有的双音子。为了研究双音子在不同语境下的变化，还应设计双音子在该语境下的词语或语句。对于汉语来说，其基本单元可能是音节（syllable）、声母和韵母（initial，final）或音子（phone）。汉语是声调语言，因此语料库中应涵盖声调不同的语音基元，以及它们的组合。 收集原始文本：为了满足语料库的要求，需要准备大量的原始资料。基于应用目标选择具有明显针对性的材料。还要考虑是口语/书面语、新闻/服务等，材料的时间性。就通用目的来说，目前较多的选自电子词典、《人民日报》等报刊和广播等材料。当然，如果构建面向旅游、宾馆预定的语音系统，就要收集相关的语料。 研制语料抽取算法：原始语料库经过断句和拼音转写，转换成带有拼音的语句、语块（chunk）或词语。这时就可以按照需求选取不同的语段作为语料文本。语段选取是一件费时费力而又精细的工作。可以用Greedy算法从大规模语料中选取最佳覆盖的语段集。通过Greedy算法基本可以得到80-90%满足要求的语料。最后不太常用、或原始语料中没有的，由人工设计完成。选取中，受到语料规模的限制，注意所选语料的普遍性。 我们针对基于大语料库汉语语音合成系统的需求，进行语音合成用语料库的设计。设计原则是兼顾音段和韵律两个层次的需求。先满足音段需求，再考虑声调组合、音段音联现象、各种清浊搭配等；语句的设计重点考虑语句的句法结构、语调变化、轻重读。覆盖汉语的417种有调音节以及多种声学特征的搭配关系。 下面，我们较为详细的介绍设计过程中所考虑的组