icl_intrapost_uploadedwgqu_2007-3-20_13-20-45_shao_-北京大学.pptVIP

高自然度汉语语音合成韵律预测技术研究 北京大学计算语言研究所 邵艳秋 2007-3-20 主要内容 研究目的和意义 国内外研究现状 语料库及研究平台 停顿指数自动预测研究 句重音等级自动预测研究 时长和基频预测模型构建 结论 研究目的和意义 研究背景 语音合成定义 通过机械的、电子的方法产生人造语音的技术。 语音合成目标 可懂、清晰、自然、富有表现力 合成语音同自然语音的差距 音质 韵律 节奏、轻重音、声调、语调 缺乏情感变化 研究目的和意义 研究目的 合成出更加自然、富有表现力的语音，缩小合成语音同自然语音的差距 更好的合成方法：缩小音质差距 更好的韵律预测：缩小韵律差距 韵律对语音的影响 帮助听者理解说话人的意图 说话人的思想通过韵律变化得到体现 研究目的和意义 语音合成系统构成 研究目的和意义 研究意义 语音合成 韵律预测可以直接为合成语音提供丰富的韵律数据 语音识别 利用韵律信息提高语音识别准确率 自然语言理解和生成 韵律是语言和语音的纽带，韵律研究是理解句法结构、语义结构或语用结构的重要线索 语料库语言学和语音学 自动韵律预测替代手工语料标注 语言教学 把握汉语韵律特点克服语言学习中的“土腔土调”和“洋腔洋调” 国内外研究现状 语音合成技术的发展 机械式时代 电子式时代 参数合成：LPC合成、共振峰合成 拼接合成：PSOLA合成 大规模数据库 汉语语音合成 声学所、清华、中国科技大学、语言所、自动化所、哈工大等等 国内外研究现状 情感语音合成技术的发展 共振峰合成系统 Janet Cahn-Affect Editor system 英语 Iain Murray-HAMLET system 英语 BurkhardtSendlmeier 德语 波形拼接 Akemi Iida,Nick Campbell 日语 Iriondo 西班牙语 Rank Pirker 奥地利德语 国内研究机构 东南大学、清华大学、语言所、自动化所等 国内外研究现状 韵律研究综述 韵律和韵律特征 韵律：是感知概念，主要指那些与韵律结构、重音和语调有关的言语信号成分。 韵律特征 物理层面：基频、时长、强度 语言学层面：韵律层级、轻重、语调等 韵律相关物 国内外研究现状 国内外韵律研究 国外韵律研究 Pierrehumbert自主音段节律理论 语调短语组成 音高重音 短语重音 边界音调 ToBI韵律标音系统 拼写层 音调层 停顿指数层 杂类层 国内外研究现状 汉语韵律研究 韵律层级 无统一标准，二级~六级 韵律词：发音时紧密、连续相连的若干音节 我|买了|一本|好书。 韵律短语：由一个或几个韵律词组成，通常有比较明显的停顿。 语调短语：由一个或几个韵律短语组成，可以是单句或复合句中的子句，后面通常有比较长的停顿。 停顿 语法、语义、生理需要 我们所||有的资源可以免费使用。（语义需要） 同韵律层级大体一致 国内外研究现状 汉语韵律研究 重音 抑扬顿挫、避免歧义，强调重点 他怕死了。 我昨天爬山去了。 词重音、句重音 句重音的类型和等级 声调语调 声调：音节高低、升降的曲折变化 语调：音高、音长、音强等多种要素构成的语言的抑扬顿挫的旋律模式 国内外研究现状 汉语韵律和句法的关系 结构上 韵律结构更多反映连续语音的节奏，有比较严格的层级关系 句法结构主要反映句子语法成分的构成，结构上可以出现嵌套 句法支配韵律 韵律结构边界往往位于句法结构边界上 韵律影响句法 冲破句法限制 影响句法构成 种植花草 种植花 国内外研究现状 韵律自动预测技术研究现状 韵律符号的自动预测（韵律标注） 停顿指数（韵律层级) 重音 声学韵律参数的自动预测（韵律模型） 基频 时长 强度 国内外研究现状 韵律自动预测技术研究现状 韵律符号的自动预测（韵律标注） 语料库韵律标注 合成系统韵律标注 特征选择：浅层特征、深层特征 分类方法：规则、统计 国内外研究现状 韵律自动预测技术研究现状 声学韵律参数的自动预测（韵律模型） 基于规则的方法 人工总结出规则，转化为公式计算求出时长、基频等 基于统计的方法 确定输入特征，训练韵律模型 基于语料库的方法 使用文本或韵律符号级的特征作为索引，记录语料库中基元的时长或基频特征曲线，完全相同的输入特征向量只保留一份记录。其实是一种实例的匹配。 本文主要的研究内容 语料库及研究平台 语料库 中性语料库 单音节 1268，参照1980年“现代汉语词典” 自然风格独白体句子 4750句，选自863合成语料库和1998年人民日报 情感语料库 情感类型：高兴、生气、悲伤 文本来源：310句，来自小说 录音：16kHz,16bit，单声道波形文件 语料库及研究平台 语料库标注 停顿：0~3 韵律词内部 韵律词 韵律短语 语调短语