基于语音、文本和表情的多模态情感识别研究.pdfVIP

摘要

近年来，随着人工智能技术的快速发展，人机交互逐渐成为了当前科研人员研

究的热点和难点。情感分析作为人机交互领域的重要组成部分，是促进人与机器无

障碍交流的关键环节。现有的情感识别算法大多是依赖单一感知模态构建的，可能

导致在特定语境下产生误导性的情感判断。多模态情感识别技术通过并行或分层处

理不同感知模态的社交信息，能够更准确地判断人类的情感状态。但目前对多模态

识别的研究仍存在一些不足，如在情感特征提取方面，现有的多模态情感识别模型

主要通过预训练模型实现对情感特征提取。而预训练模型往往需要进行微调或迁移

学习来达到适应特定任务的目的，可能会导致在小样本数据集或特定应用中出现泛

化性能力不足的问题。在特征融合方面，现有的多模态模型虽然采用了一些改进型

的融合方法，但在融合过程中没有很好的考虑到模态特征间的相关性及模态的选择

性问题，导致最终的识别准确率偏低。此外，当前针对情感识别技术的研究主要是

基于英文数据集，而针对中文内容的研究相对较少。基于上述问题，本文同时利用

公开的中英文情感数据集，将语音、文本和面部表情作为研究对象，通过提取单模

态的情感特征并探索不同模态间的融合架构，设计了多模态情感识别模型。主要贡

献如下：

（1）提出了并行卷积模块(Pconv)和基于注意力机制的双向长短时记忆网

(BiLSTMbasedonattentionmechanism，BiLSTM-Attention)及交叉注意力融合模块。

其中，并行卷积模块通过并行处理数据来捕获信息，一定程度上实现了网络轻量化；

BiLSTM-Attention模块能够关注重点信息，保持模态信息间的时序相关性。为强化

模态间的关联性，设计了一种用于优化语音和文本特征融合的交叉注意力模块。

（2）语音和文本的情感识别模型均利用Pconv和BiLSTM-Attention模块提取

更丰富的关键情感信息并保证信息的时序性。在语音-文本双模态模型的基础上，采

用特征级融合策略并引入交叉注意力机制，实现两种情感特征的有效互补融合。为

实现对连续视频帧的表情特征提取，降低运算难度，采用3D卷积与2D卷积相结合

的多尺度卷积核改进Inception-ResNetV2构建表情情感识别模型，并在模型最后添

加BiLSTM-Attention模块维持信息的时序性。

（3）为有效融合三种不同模态的情感特征，通过对比三种模态不同的组合方式，

发现预先对语音和文本进行特征融合可以显著提高模型的识别精度。即语音和文本

信息预先在第二层的Pconv模块前完成特征融合，然后在输入BiLSTM-Attention模

块前完成与表情特征的融合，最后通过Softmax层实现情感的分类。

（4）利用了CH-SIMS和CMU-MOSI两个公开的情感数据集验证本文提出的

情感识别模型的有效性。在两个公开数据集上的实验结果表明：提出的模型均取得

了比已有的音视频基线模型更高的识别准确率，并且模型的各个组成部分均对模型

性能的提升有所贡献。其中所提出的多模态模型取得了比基线模型更高的识别准确

率，分别达到了97.82%和98.18%，证明了提出的基于交叉注意力的多模态情感模型

的有效性。

关键词：情感识别；多模态；并行卷积；3D卷积；交叉注意力

Abstract

Inrecentyears,withtherapiddevelopmentofartificialintelligencetechnology,

human-computerinteractionhasgraduallybecomeahotspotandadifficultpointforcurrent

researcherstostudy.Sentimentanalysis,asanimportantcomponentinthefieldofhuman-

computerinteraction,isakeylinkinpromotingbarrier-freecommunicationbetween

humansandmachines.Mostoftheexistingemotionrecognitionalgorithmsar