基于AAM和异步发音特征DBN+模型的逼真可视语音合成.pdfVIP

第十一届全国人机语音通讯学术会议 基于 AAM 和异步发音特征 DBN 模型的逼真可视语音合成 1 1 1 1 1 2 张贺 ，蒋冬梅 ，吴鹏 ，谢磊 ，付中华 ，Hichem Sahli （1.西北工业大学 计算机学院，陕西 西安 710072 中国） （2.布鲁塞尔自由大学 电子与信息工程系，布鲁塞尔 1050 比利时） 摘 要：提出了一种基于主动外观模型(AAM)特征和异步发 trained AF_AVDBN parameters. Finally, photo realistic mouth images 音特征DBN模型 (AF_AVDBN)的逼真可视语音合成方法。在 are synthesized from the learned AAM features. In the experiments, AF_AVDBN模型中，发音特征（如嘴唇、舌体和声门/软腭的 mouth animations are synthesized for 30 connected digit audio speech 状态）之间允许在一定约束范围内异步，以更好地模拟协同 sentences. Objective evaluation results show that the learned visual 发音现象，为人类真实发音过程建模。在模型训练中，以42 features using AF_AVDBN track the real parameters much more 维感知线性预测（PLP）特征作为音频特征，视频特征为嘴 closely than those from the audio visual state synchronous DBN model 部图像的80维AAM特征。在听视觉数据库上训练好模型参数 (SS_DBN, the DBN implementation of multi-stream Hidden Markov 后，对于给定输入语音，基于期望值最大化（EM）算法推导 Model), as well the state asynchronous DBN model (SA_DBN). 出相应最优嘴部参数学习算法，并由学习得到的AAM特征重 Subjective evaluation results show that by considering the asynchronies 构出嘴部图像序列。在实验中，为30句连接词语音重构了嘴 between articulatory features in the AF_AVDBN (as well between 部动画，客观评价结果表明，与听视觉状态同步DBN模型 audio and visual states in the SA_DBN), the synchronization between （SS_DBN）和听视觉状态异步DBN模型（SA_DBN）相比，由 the audio speech and mouth animations are well