情感语音的分析和转换.pdfVIP

计算机世界/2007 年/1 月/29 日/第B13 版 技术专题 深入研究人类用语音表达情感的机理,探索不同情感状态下语音的差异以进 行转换,可以为语音合成、语音分析、语音识别等提供指导,最终改善人机交互。 情感语音的分析与转换 崔丹丹 蔡莲红 情感是语音传情达意的重要成分。在交互过程中，语音的情感承载着丰富的信息，同样文本 的语音可能表达出不同的情感和含义。情感语音转换主要关注表达的准确性，追求表达的真实意 图和弦外之音。近年来，在信息、娱乐等服务的应用系统中，表现力和情感语音合成成为新的热 点。 美国早在 1990 年就由MIT 的Cahn 构造了一个用声学和语音学来描述发音的计算机程序， 用来驱动一个基于规则的语音合成器合成六种基本情感，合成的情感约有50%的识别率。欧洲也 启动了PHYSTA （Principled Hybrid Systems and Their Application ）项目，目标是开发一个能从脸 像和语音识别情感的系统。日本ATR 实验室对人类自然语音交流中的情感、意图等非音段信息进 行深入分析，并录制和标注了大量的日常生活中的语音数据。国内也开展了情感语音相关的研究， 特别是清华大学和中科院心理所合作，将人机交互技术与心理、认知科学相结合，在情感语音计 算和处理领域迈出了新的探索之路。 情感语音分析与转换的主要工作 语音变换的目标是实现语音的个性化，比如实现男女声变换、特定声音音色的变换，而情感 变换的目标是实现不同情感的变换，比如原有一个中性（无感情色彩）的声音变成“高兴的”声 音。 情感声音转换的研究分为情感语音分析和情感语音变换两个部分。情感语音分析的主要工作 是收集各种带有不同情感的语音数据、提取声学特征，分析声学特征与情感联系，建立“情感描 述词”与“情感状态空间”的映射、“情感空间”与语音特征的映射、训练情感转换模型。而情 感语音变换是按照指定的“情感描述词”，利用情感转换模型实现转换。 困难的是，语音表达丰富多彩，人类的情感也非常复杂，因而情感如何量化一直困挠着研究 人员。清华大学与中科院心理所的研究人员借用心理学家提出的PAD 三维情感状态模型解决了情 感的量化问题。PAD 情感状态模型包括三个维度，即愉悦度、激发度和优势度，特别是 PAD 中 “优势度”可很好地描述语音交互属性。如发出命令的声音比接受命令的声音优势度高。下面将 介绍情感语音转换中的几个关键部分。 从情感体验到情感状态空间 为了实现人机语音交互系统的符号用户接口，建立如文本中的词汇、网络聊天用的字符表情、 字体颜色等情感符号在情感描述空间上的分布是非常必要的。 最基本的情感符号是表示情感的形容词，在心理学研究中叫做“情绪体验词”。情感符号都 可以转写为特定的情绪体验词。为此，课题组选取了一个能够覆盖日常生活中常见情感表达模式 的情绪体验词集合，并标定它们在PAD 空间的分布，从而建立起从情感描述符号到情感状态空间 的映射。其中，关键问题是情绪体验词的选取。 为了解人的情绪体验，心理学者们常选用一系列形容词制成检表来测查心境状态或情绪性障 碍，例如Izard 的分化情绪量表DES 就得到了广泛的认可。在汉语方面，左衍涛先生评定出 127 组共400 个汉语常见情绪词作为中文情绪词的代表样本，也很值得借鉴。而在课题组的研究中， 第1 页 共3 页 情绪体验词的选取面向人机交互中的表达模式，在覆盖基本情感的基础上考虑了典型表达模式下 的混合情感，并兼顾其在PAD 空间的分布。选取的情绪体验词集可以分为两个部分: 核心体验词：覆盖前面提到的基本情感范畴，是情绪的基本分化成份，如快乐的、惊奇的。 混合体验词：代表典型表达模式下的混合情感，需要同时考虑典型性和区分性，如轻蔑的、 温顺的。 情感状态与声学特征 研究情感空间与语音特征的关系首先要根据研究目标收集语音语料数据，得到能够支持分析 的语料后，提取特征参数，进行分析，选择出与情感相关的特征参数。 数据采集：数据的收集与处理是最为关键和困难的环节之一，而要获得有效理想的情感语音 数据则格外困难。为此，在分析之前，课题组首先设计并收集了一个面向表达模式、以数据的典 型性和区别性为目标的情