语音合成系统中hmm的应用-read.ppt

HMM在语音合成中的应用 成就及面临问题 基于HMM的解决方案 HMM技术方案分析 其它技术方案选择 成就及面临问题 成就 合成质量：高自然度 应用：快速成长的市场 核心技术路线 大规模数据库支撑的波形拼接 数据驱动 单元挑选 来自应用的需求 性能要求 音质：更丰富表现力 实时性：提高 适应性：系统/数据库可裁减 成本要求 开发成本：时间、人力 使用成本：使用/维护开销 基于HMM的实现方案 基本思路 利用HMM模型刻画动态变化的音段乃至超音段 可能的收获 直接的 数据库加工开销减少 自动音段标注，节省数据库加工的人工和时间 数据库规模减小 较小的模型单元，预期较少的数据就可覆盖样本的变化 间接的，与其它技术配合 提高表现力 与音色调整技术整合 系统规模减小，提高系统的适应性 降低使用成本 与发音人转换技术整合 HMM技术方案分析 动态的HMM IBM方案 NIT方案 结果比较 总结 动态的HMM 模型设置 每个HMM对应于一个基本单元： phone 或 semi-syllable 语境有关（Context dependent）模型聚类 Rule-based allophone Data-driven allophone: Decision Tree 语音的模型刻画 每个状态对应于一平稳音段 Ａ矩阵 状态转换对应予语音的动态变化 Ｂ矩阵 IBM方案 基本技术思路：波形拼接 HMM 的作用：Alignment 2005 Blizzard Challenge：Voice morphing NIT方案 基本技术思路： 由HMM参数合成语音 HMM的作用 直接利用HMM参数 F0参与建模 2005 Blizzard Challenge STRAIGHT 合成器 Multi-space HMM hidden semi-Markov model:状态时长概率分布，替代转移概率矩阵A Festival前端 结果比较 数据规模 IBM: 120M NIT: 2M 评测 总结 特色 音段一级的建模 可计算且计算方法成熟／众多 较好的扩展性与兼容性 已解决问题 音段的自动标注 音段的动态刻画 进一步探索 细节的刻画 其它技术方案选择 HMM的作用 音段层次模型 音色质量 有价值/希望的技术 发音人音色转换 Prosody, Spectral, and Micro-prosody 合成器 实现音色调整 Reference [1] Heiga Zen and Tomoki Toda, “An Overview of Nitech HMM-based Speech Synthesis System for Blizzard Challenge 2005”, InterSpeech2005 [2] R. Donovan and E. Eide, “THE IBM TRAINABLE SPEECH SYNTHESIS SYSTEM”, ICSLP1998 * 自左到右无跳转HMM模型 　转移概率矩阵A=[aij], i+1=j=i 　观察概率矩阵B=[bi(·)] 　初始概率矩阵π Speech Database Speech Alignment HMM Tree Prosody Tree SD HMM DT Training DT Training Spectral Param. Phonetic Ann. Prosodic Param. Segment Align. Text Analysis Prosody Predictor Spectral Predictor Unit Selection Synthesizer Speech Text Training part Running part Diagram of IBM Trainable Synthesis System Diagram of NIT HMM-based Speech Synthesis System top: natural spectra, bottom: generated spectra * * *