学习报告语音转换voiceconversion.ppt

F.字典结构 DFT MEL MCC G.评价 Objective: G.评价 Subjective: 五.GMM的toolkit 演示 然而我们主要研究 说话者的语音转换 * 传统方法：基于最小均方差法一帧一帧的转换 先进方法：基于最大似然函数估计来考虑帧与帧之间的关联，进而进行转换。 * * EM算法分E步和M步 * E步就是expectation的意思，就是假设模型参数已知的情况下求隐含变量Z分别取z1,z2,…的期望，亦即Z分别取z1,z2,z3…的概率。 * 用最大似然的方法求出模型参数。 * 传统方法虽然非常有效，但是仍然有两个问题：1.采用了时间独立的映射。2.存在过渡平滑的问题。 * 考虑了帧与帧之间的联系 考虑了GV * * 林婧伊 学习报告 —语音转换（voice conversion) 汇报内容 一.语音转换的概念 二.语音转换技术的发展概况 三.基于高斯混合模型(GMM)的语音转换技术 四.在高斯混合模型之后产生的方法 五.Toolkit 演示 语音转换 从窄带语音通信转换为宽带语音通信 语音产生模型 声关节反转映射 体传送语音增强 发声帮助器 VOICE CONVERSION Voice conversion (VC) is a technique to transform the speech of one speaker (source) so that it sounds like it was uttered by another speaker (target) without changing the language context. A voice conversion system contains Training phase During training phase, a conversion function is estimated from parallel source and target feature vector sequences. Conversion phase In conversion phase, the conversion function is applied on features extracted from new input speech of source speaker, then the modified features are used to reconstruct the converted speech. 分析特征提取 源说话人声音 分析特征提取 目标说话人声音 分析特征提取 对齐 训练 语音 转换 规则 语音转换规则 源语音 语音合成 图1.语音转换技术系统结构图 训练阶段 转换阶段 二.语音转换技术的发展概况 （1） 语音转换的发展历程 1980s开始(统计学方法）： 1.Abe等人发明码本映射方法。 2.模糊向量量化。 3.建立了源—目标向量间的差异向量。 4.Valbret等人使用了LMR（linear multivariate regression)。 5.其他：说话人插入、神经网络。 （2）最流行的方法 1.Styrianou 等人： 基于高斯混合模型的转换方法（GMM）。 2.先进的基于高斯混合模型的转换方法： 利用MLE（maximum-likelihood estimation)。 三.基于高斯模型(GMM)的语音转换技术 传统的高斯混合模型： A.概率密度函数： 已知 和 是第t帧的D维源、目标特征向量 是 的联合向量 是参数集合：包括权重、平均向量、协方差矩阵 是平均向量 协方差矩阵，各协方差矩阵分别都是对角 线矩阵 在训练过程中： 1.用Dynamic time warping（DTW）将联合向量自动排队。 2.用期望最大化算法（EM）训练GMM模型。 EM算法： （1）基本思路: