语音合成中的关键技术.ppt

关键技术－波形处理 两种情形 挑选样本距离预测值较远，需韵律调整 两拼接端点不吻合，需平滑处理 关键技术－波形处理 两种情形 挑选样本距离预测值较远，需韵律调整 两拼接端点不吻合，需平滑处理 技术 PSOLA (Pitch Synchronous OverLap Add) 加窗 关键技术－波形处理－PSOLA TD-PSOLA a. 基频提高 b. 基频降低 c. 时长延长 d. 时长缩短 State-of-the-Art 通用系统, 5千句录音 这里长城的走势比司马台更加富于变化和韵律；山势比慕田峪雄奇峻峭；构造墙体的是大块的白山岩，非常醒目。无论春夏秋冬、风云雨雪，各种光线下都能拍出美妙的照片。 个人系统, 326 句录音 这里长城的走势比司马台更加富于变化和韵律；山势比慕田峪雄奇峻峭；构造墙体的是大块的白山岩，非常醒目。无论春夏秋冬、风云雨雪，各种光线下都能拍出美妙的照片。 英语系统, 8k 句录音 Northwest flight 123 departs New York at eight p.m. on Monday, May eighth and arrives in John F. Kennedy International Airport at ten twenty six p.m. * * * * * * * * * * * * * * * * * * * * * * * * * * * 关键技术 数据库构建 文本处理 声学建模 最优搜索 波形处理 关键技术 数据库构建 文本处理 声学建模 最优搜索 波形处理 关键技术-数据库构建 数据库的作用 合成单元 训练数据 前端模型 后端模型 prosodic event phonetic context prosodic acoustics model prosodic parameter prosodic annotation speech phonetic alignment script annotated corpus prosodic event prosodic description model parser, POS 关键技术-数据库构建 数据库的作用 合成单元 训练数据 前端模型 后端模型 数据库的设计，TTS系统技术路线的体现 覆盖所有基本单元及其变体 音位变体 韵律变体 prosodic event phonetic context prosodic acoustics model prosodic parameter prosodic annotation speech phonetic alignment script annotated corpus prosodic event prosodic description model parser, POS 关键技术-数据库构建 数据库的作用 合成单元 训练数据 前端模型 后端模型 数据库的设计，TTS系统技术路线的体现 覆盖所有基本单元及其变体 音位变体 韵律变体 数据库加工 录音 标注 prosodic event phonetic context prosodic acoustics model prosodic parameter prosodic annotation speech phonetic alignment script annotated corpus prosodic event prosodic description model parser, POS 数据库的设计 系统目标分析-数据库任务分析 基本单元确定 规模 内容 通用系统数据库 文本设计 来源 - 文本数据库 覆盖 - 基本单元，语境分类 指标 - 累积频度 具体指标 基本单元: 音节，100%覆盖 语境音节（SV: Syllable Vector）：左、右声调，左、右音位类别 评价指标：语境音节累积频度 实施：基于文本数据库统计的句子的挑选 文本设计结果 数据库加工 录音 标注 音段 韵律 韵律标注实施 – 人工 标注内容 流程定义 质量：准确性、一致性 加快数据加工进程 流程标准化 手段自动化 韵律的自动标注 – 文本+声学信息 关键技术 数据库构建 文本处理 声学建模 最优搜索 波形处理 关键技术-文本处理 从文字到发音描述 发什么音，音位预测 如何发音，音位变体及韵律预测 如何描述发音-韵律 从语用的角度描述韵律，即韵律事件（初敏、施勤的工作） 从功能的角度，韵律的交际功能（许毅的工作） 关键技术- 文本处理-韵律描述 韵律层级结构：韵律词、韵律短语、语调短语 其它的韵律现象：语调、重音、情感 关键技术-文本处理 从文字到发音描述 发什么音，音位预测