多模态融合的语音情感识别系统设计.docx

PAGE2

多模态融合的语音情感识别系统设计

摘要:随着人工智能技术的快速发展，使计算机能够像人类一样感知和理解情感已成为人机交互领域的研究热点。语音情感识别是情感计算的重要分支，由于单一模态信息具有片面性，难以全面刻画说话人的情感状态，因此引入文本模态与语音模态相融合的多模态情感识别方法受到了广泛关注。本文设计并实现了一个基于语音与文本两种模态融合的语音情感识别系统，主要研究内容如下：

首先，针对语音模态，采用梅尔频率倒谱系数（MFCC）及其一阶、二阶差分，结合短时能量、过零率、基音频率等韵律特征，构建了39维声学特征向量；针对文本模态，采用BERT预训练语言模型提取768维的句子