基于深度神经网络的语音情感识别与对话情感感知研究报告.docVIP

基于深度神经网络的语音情感识别与对话情感感知研究报告

一、语音情感识别与对话情感感知的技术基础

（一）语音情感的声学特征维度

语音情感的外在表现首先体现在声学特征的变化上，这些特征是深度神经网络模型进行情感识别的基础输入。常见的声学特征主要分为以下几类：

时域特征：包括基频（F0）、短时能量、过零率等。基频是指语音信号的基本频率，它与声带的振动频率直接相关，不同情感状态下基频的变化范围和趋势差异明显。例如，当人处于愤怒状态时，基频通常会显著升高，且波动幅度较大；而在悲伤状态下，基频则会降低，变化较为平缓。短时能量反映了语音信号的强度，兴奋、激动等积极情感往往伴随着较高的短时能量，而疲惫、低落等情感则对应较低的能量水平。过零率是指语音信号在单位时间内穿过零点的次数，它与语音的清晰度和噪声水平有关，一般来说，愤怒、紧张等情感会使过零率升高。

频域特征：主要有频谱、倒谱系数等。频谱可以展示语音信号在不同频率上的能量分布，不同情感的语音在频谱的高频和低频部分表现出不同的特征。比如，快乐、兴奋的语音在高频部分能量相对较高，而悲伤、压抑的语音则在低频部分能量更为突出。倒谱系数是通过对频谱进行对数运算和逆傅里叶变换得到的，它能够有效地提取语音的共振峰信息，而共振峰的位置和带宽变化与情感状态密切相关。

韵律特征：涵盖语速、语调、停顿等。语速方面，愤怒、焦虑时语速通常会加快，而悲伤、沉思时语速则会减