采用谱-韵律双变换语音情感转换-speech emotion conversion by spectral - prosodic double transform.docxVIP

目 录 中文摘要 I Abstract II 第一章 序 言1 1.1 语音情感转换研究的意义及价值 1 1.2 国内外研究历史及现状 2 1.3 语音情感转换研究的目标 4 1.4 本文主要研究工作及论文安排 4 第二章 语音情感转换的相关问题6 2.1 语音产生机理 6 2.1.1 语音发音系统6 2.1.2 语音信号生成的数学模型 7 2.2 语音信号特征参数 8 2.2.1 特征参数分析8 2.2.2 特征参数提取 11 2.3 语音情感转换的原理及常用方法 13 2.3.1 语音情感转换原理13 2.3.2 常用语音情感转换方法13 2.4 语音合成 17 STRAIGHT 算法合成语音 17 PSOLA 算法合成语音 19 2.5 本章小结 20 第三章 语音情感特征分析 21 3.1 语音情感定义和分类 21 3.2 语音情感特征参数分析 23 3.2.1 情感语音基频相关参数分析23 3.2.2 情感语音的音强分析 25 3.2.3 情感语音共振峰相关参数分析 26 3.2.4 情感语音时长、停顿和语速分析29 3.3 本章小结 30 第四章 采用谱-韵律双变换的语音情感转换 31 4.1 基于 GMM 的谱包络转换 31 4.1.1 动态时间规整32 GMM 的基本概念 34 GMM 的参数估计 35 4.1.4 GMM 的训练与转换 36 4.2 韵律特征转换 37 4.2.1 基于 PTR 的韵律转换 37 4.2.2 PTR 结合单高斯的加重音韵律转换 40 4.3 本章小结 42 第五章 语音情感转换实验与结果分析43 5.1 语音情感数据库 43 5.2 实验结果图分析 44 5.3 主观评测 46 MOS 评测 47 ABX 评测 48 5.4 客观分类结果 48 5.4.1 分类用的特征介绍48 5.4.2 WEKA 平台简介 49 5.4.3 自动识别结果50 第六章 总结与展望51 6.1 工作总结 51 6.2 工作展望 51 参考文献 53 攻读硕士学位期间发表的论文 57 附 录 58 致 谢 61 采用谱- 采用谱-韵律双变换的语音情感转换 第一章 序 言 第一章 序 第一章 序 言 采用谱-韵律双变换的语音情感转换 PAGE PAGE 11 PAGE PAGE 10 第一章 序 言 1.1 语音情感转换研究的意义及价值 随着信息技术的高速发展和人类对计算机的依赖性不断增强，人类愈加追求人机 间的自然且智能化的交流[l]。计算机智能化即它能感知人的情绪状态和态度和所处环 境，自适应地调整自己的情绪，从而提供更良好的沟通环境，消除人机间的障碍。在 所有的信息载体中，语音是人与人之间交流最自然的方式，它有最大的信息量，最高 的智能水平。除了本身包含的文字信息外，语音也同时包含情绪和情感等对正确理解 话语非常重要的信息。如果说话人的情感相异，相同的内容可能传递给听者不一样的 信息。 情感是人类的一种本能，在人们日常生活和学习中，它有着和思维以及逻辑推理 能力一样重要的地位。对情感语音的研究有助于将情感的认识从感性认识上升到计算 模型，进一步深化大脑中的情感概念的分析理解。实现语音情感在情感信息研究中是 非常重要的，它可以让计算机语音具有丰富的感情色彩如人类说话一样，这将大大地 提高人机交互的智能化水平[2]。 情感信息是人类交流中的重要组成部分，渗入到人类日常生活交流中的方方面 面。对语音中表达出的情感的自动识别、转换与合成技术在娱乐、教育、艺术、医疗 等领域都有广阔的应用前景。 情感语音转换以及情感语音合成技术可以将不传达情感信息的中性语音转化为 传达情感的语音，这能够使有言语障碍的人能够借助情感语音转换与合成技术实现更 自然的口语表达，有助于言语障碍者与他人的正常交流，提高自信心，并起到辅助医 疗的作用；情感语音转换技术也可以用于热线电话、互动电脑游戏等应用之中，具有 情感的语音将代替单调的机器语言而成为主流；通过对转换合成而获得的情感语音做 主观评测，根据合成情感语音的自然程度以及不同情感之间的混淆情况，可以更深入 地探讨情感本身的特性，研究各种离散情感类型之间的联系。 1.2 国内外研究历史及现状 对情感信息自动分析的早期工作主要体现在 Picard 在 1997 年《情感计算》一书 中做出的较系统的阐述[3]，提出了对情感进行计算、自动识别等方面的线索以及发展 方向。此后，在 2000 年前后，Cowie[4]和 Scherer[5][6][7]等人分别针对语音信号将情感 的心理学模型与通过言语的情感交流进行了深入研究，为情感语音的自动识别与合成 技术奠定了重要基础。 对于语音信号的情感自动识别与合成工作，