语音信号处理 第4版 课件 第11章：语音信号情感处理.pptx

南京邮电大学通信与信息工程学院第11章语音信号情感处理

情感理论与情感诱发实验实用语音情感识别算法应用与展望情感的声学特征分析基于深度学习的语音情感识别

11.1情感理论与情感诱发实验—情感的心理学理论情感识别研究需要以心理学的理论为指导，目前有两大情感论：(1)基本情感论基本情感论认为，人类的复杂的情感是由若干种有限的基本情感构成的，基本情感按照一定的比例混合构成各种复合情感。在语音情感识别的文献中，较多的研究者采用的是６种基本情感状态：“喜悦”“生气”“惊讶”“悲伤”“恐惧”和“中性”。(2)维度空间论情感的维度空间论认为人类所有的情感都是由几个维度空间组成的，特定的情感状态只能代表一个从亲近到退缩或者是从快乐到痛苦的连续空间中的位置，不同情感之间不是独立的，而是连续的，可以实现逐渐的、平稳的转变，不同情感之间的相似性和差异性是根据彼此在维度空间中的距离来显示的。

11.1情感理论与情感诱发实验—情感的心理学理论近年来，最广为接受和得到较多实际应用的维度模型，是下面两个维度组成的二维空间：１)效价度(Valence)或者快乐度(Hedonictone),其理论基础是正负情感的分离激活，这得到了许多研究的证明，主要体现为情感主体的情绪感受，是对情感和主体关系的一种度量。２）唤醒度(Arousal)或者激活度(Activation)，指与情感状态相联系的机体能量激活的程度，是对情感的内在能量的一种度量。

11.1情感理论与情感诱发实验—使用语音情感数据库的建立概述：语音情感数据库的建立，是研究语音情感必需的研究基础，具有极为重要的意义。目前国际上流行的语音情感数据库有AIBO语料库、VAM数据库、丹麦语数据库、柏林数据库等。需求及制作过程：面向实际应用的需求，实用语音情感数据库必须要保证语料的真实可靠，不能采用传统的表演方式采集数据。通过实验心理学中的方法来诱发实用语音情感数据，可尽可能地使训练数据接近真实的情感数据。制作过程如下：

11.1情感理论与情感诱发实验—情感语料的诱发方法在传统的语音情感数据库中，往往采用表演的方式来采集数据。演员能通过刻意的控制声音的变化来表演所需要的情感，但表演数据不能提供一个准确的情感模型。为了能更好地研究实际环境中的情感语音，有必要采集除表演语音以外的，较高自然度的情感数据。主要有以下两个方法：通过计算机游戏诱发情感语料通过游戏中画面和音乐的视觉、听觉刺激，能提供一个互动的、具有较强感染力的人机交互环境，能够有效地诱发出被试者的正面与负面的情感。特别是在游戏胜利时，被试者由于在游戏虚拟场景中的成功与满足，被诱发出喜悦等正面情感；在游戏失败时，被试者在虚拟场景中受到挫折，容易引发烦躁等负面情感。2.通过认知作业诱发情感语料通过认知作业诱发情感语料，包括烦躁、疲劳和自信等心理状态的诱发。在一个重复性的、长时间的认知作业中，可采用噪声诱发、睡眠剥夺等手段辅助诱发负面情绪。

11.1情感理论与情感诱发实验—情感语料的主观评价方法?

11.1情感理论与情感诱发实验—情感语料的主观评价方法?

11.1情感理论与情感诱发实验—情感语料的主观评价方法?

情感理论与情感诱发实验实用语音情感识别算法应用与展望情感的声学特征分析基于深度学习的语音情感识别

11.2情感的声学特征分析—情感特征提取?

11.2情感的声学特征分析—情感特征提取短时能量抖动为:短时能量的线性回归系数为:短时能量的线性回归系数的均方误差为:其中，

11.2情感的声学特征分析—情感特征提取?

11.2情感的声学特征分析—情感特征提取?

11.2情感的声学特征分析—情感特征提取4）Mel频率倒谱系数(MFCC)MFCC是从Mel频率刻度域中提取出的倒谱参数,可以通过人耳的听觉原理对其进行分析。它与声音频率的具体关系可近似表示为:MFCC的提取过程为：①对原始语音信号进行分帧加窗预处理；②将预处理后的信号进行离散傅里叶变换(DFT)，从而得到语音帧的短时频谱；③将短时频谱的幅度值通过Mel滤波器组进行加权滤波处理；④对Mel滤波器组的全部输出值进行一个求对数计算；⑤将经过求对数计算后得到的值进行离散余弦变换(DCT),从而得到MFCC。5)关联维数Grassberger和Procaccia提出了从时间序列计算吸引子关联维数的Ｇ－Ｐ算法。定义关联积分为：

11.2情感的声学特征分析—情感特征提取?

11.2情感的声学特征分析—情感特征提取?8）情感特征向量构造全局统计特征和动态特征是两种常用的特征向量构造方法，由于动态特征过分依赖音