南京师范大学教育科学学院多媒体原理与技术课件第二章 语音合成.ppt

Chapter Two Speech Synthesis Technology lecturer: Wei Wang Tel:Email: njnuwangwei@ Page: /mmt/ Chapter Two Speech Synthesis Technology 语音合成（Speech Synthesis）技术又称为TTS（Text To Speech文语转换）,it means after certain software and hardware conversion, speech is output by a computer or other phonetic system. And, at the same time, try to make the speech more comprehensible and natural. TTS System Structure Text Analysis The main function of text analysis is to enable computer to recognize from these text, and finally recognize the sound of the words, how to pronounce and to tell a computer of this pronunciation. On the other hand, it will decide the text participles, clauses, stage in order to make computers know what is word, phrase and sentence, and where should pause, pause long, etc. Working Process Three stages of working： Text standardization，将输入的文本规范化，在这个过程中处理用户可能的拼写错误，并将文本中出现的一些不规范或无法发音的字符过滤掉； Word segmentation，主要分析文本中的词或短语的边界，确定文字的读音，同时在这个过程中分析文本中出现的数字、姓氏、特殊字符以及各种多音字的读音方式； Syntactic analysis and semantic analysis，根据文本的结构、组成和不同位置出现的标点符号，来确定发音时语气的变换以及不同音的轻重方式。最终，文本分析模块将输入的文字转换成计算机能够处理的内部参数，便于后续模块进一步处理并生成相应的信息。 Common Algorithm The traditional text analysis:最大匹配法、反向最大匹配法、逐词遍历法、最佳匹配法、二次扫描法等等。 Machine Learning method Artificial network method Hidden Markov model method 韵律控制模块 任何人说话都有韵律特征，比如汉语中，人说话有阴平、阳平、上声、去声、轻声五个声调，另外，人的话语有不同的语气、停顿方式，发音长短也各不相同，这些都属于韵律特征。而韵律参数则包括了能影响这些特征的声学参数，如：基频、音长、音强等。韵律参数对于控制合成语音的节奏、语气语调、情感等有重要意义，例如，对汉谱普通话来说，基频是和声调直接相关的物理参数。 最终TTS系统能够用来进行声信号合成的具体韵律参数由韵律控制模块生成。韵律控制模块为合成语音规划出音段特征，如音高、音长和音强等，使合成语音能正确表达语意，听起来更加自然。 超音段参数 一个语音单元除了由元音和辅音按时间顺序排列的音段成分以外，还必须包括一定的超音段部分，否则这个音节就不能成为有区别意义的有声语言。 基频、音长、音强是语音的三个超音段参数 基频就是声音的高低，决定于声波的频率； 音强就是声音的强弱，决定于声波的振幅； 音长就是声音的长短，决定于发音体振动的时间。 韵律生成的方法 基于规则的方法 基于机器学习的方法 基于参数的方法 基于规则的韵律生成 通过对汉语语音学和语言学的研究总结一些通用的韵律规则，利用这些先验知识，可以建立一个基于规则的韵律生成系统。通常规则系统包括两个方面：一是通用规则，二是目标说话人的特定韵律规则。 基于机器学习的韵律生成 为能够发觉隐藏而且难以描述的韵律规则通常利用机器学习的方法来实现韵律的生成。常用的算法模型有Hidden Markov model、Network、SVM以及决策树等。 基于参数化模型的韵律生成 参数模型利用先验知识，先分析基频时长和语言