面向情感转换的层次化韵律分析与建模.pdfVIP

NCMMSC’2009 ，8 月 14－16 日，新疆乌鲁木齐 面向情感转换的层次化韵律分析与建模1 徐俊，蔡莲红 (普适计算教育部重点实验室（清华大学） 清华大学计算机系 北京100084) 文 摘： 语音的韵律特征对情感表达起着非常重要的作用。在基于韵律修改的情感语音转换系统中，为了更为准确 地预测情感语音的韵律特征，该文提出一种层次化的韵律分析与建模方法，针对愤怒、高兴、悲伤、惊奇这 4 种情感 对语音按照韵律结构的层级进行分析，探讨不同层次之间情感韵律特征变化规律的关联性和叠加性，并使用高层音段 信息作为输入对低层信息进行决策树建模。实验结果表明，本方法对情感韵律特征的预测均方误差比局部分音段以及 传统的决策树韵律模型低大约 5%。 关键词：情感韵律特征；情感转换；韵律分析；韵律建模 中图分类号： TP 302.1 语音是人机交互中的重要组成部分，随着技术 模。 的不断发展，人们对计算机所生成的语音的要求已 1 基于韵律结构的情感韵律特征分析 经不再局限于高清晰度和高可懂度。而情感是人类 智能的重要体现之一，因此语音中的情感表达也成 1.1 情感语料 为了语音技术的研究热点。 本文所采用的情感包括愤怒、高兴、悲伤和惊 语音中的情感表达和声学特性之间存在着极 奇 4 种情感。文本语料来自于 1998 年的人民日报， 为密切的联系，一般认为情感在声学上的表现主要 并标注有音节和韵律结构。所有语句的平均音节数 分为基频、语速、强度和频谱 4 个方面[1]，前三个 为 16.7，平均韵律短语数为 3.1 。每种情感各有220 方面统称为韵律特征。传统情感特征分析以韵律特 句，并且录制了相应的中性情感语句。语音采样率 征为主，最常用的韵律参数为基频、音段时长和短 为 16 kHz，采样精度为 16 b。 时平均能量，大量分析实验也得到了许多情感与韵 在实验过程中，每种情感的前 200 句用于分析 律特征相关性的研究结论[2] 。在针对汉语的情感语 和建模，后 20 句作为测试语句。 音研究中，文错误！未找到引用源。分析了汉语语 1.2 情感韵律特征分析 音中欢快、愤怒、惊奇和悲伤 4 种情感的声学参数， 汉语韵律结构一般分为语句、韵律短语、韵律 发现欢快、愤怒和惊奇具有较大的能量，较高的基 词和音节 4 个级别，高层音段包含一个或者几个低 频平均值和较宽的基频变化范围；愤怒和惊奇的语 层音段组成，形成一个层次化的结构，如图 1 所示。 速较快，悲伤的语速很慢；另外，欢快和愤怒也具 有较高的第一共振峰频率等。 在情感建模方面，文[5]对声学参数进行多回归 统计分析建模，实现了语音激活度上的修改转换； 文[6]以语句与音节为单位对情感特征进行建模，并 采用Boosting-GMM算法进行语音情感变换；文[7] 则利用GMM算法建立从中性声学特征到特定基本 情感状态下声学特征的映射模型来实现情感韵律 修改。传统的情感韵律分析和建模方法一般采用语 图 1 汉语普通话的韵律结构 句或者音节作为单位，缺乏考虑语音全局特征与局 部特征之间的关系。本文提出一种基于韵律结构的 选取了与情感表达关系最为密切的短时平均 全局特征与局部特征相结合的方法，在语句、韵律 能量、音段时长、基频最大值、基频最小值、