基于多阶段图表征和交互表征的对话情感识别研究.pdfVIP

摘要

情感识别作为情感计算的重要组成部分，是让机器逐渐理解人类情感进而实

现人机情感交互的关键技术。近年来，随着智能设备的普及，对话式的人机交互

成为了交互数据的主流承载形式，在智能设备的人机交互场景中实现具有情感的

交互可以有效的改善沟通效率和体验。因此，对话情感识别技术非常具有研究价

值，受到了国内外学术界和产业界的高度关注，现已成为一个重要的研究课题。

在对话过程中，人类情感的呈现与传递是多途径的。其中，语音声学和文本

内容是表达情感最常用的两种方式。针对这两种方式，目前在情感识别领域都有

着相对深入的研究，但是仍然存在着一些问题。在语音情感识别方面，先前的研

究主要集中在探讨声学特征对情感分类的效果，或者声学特征的语句内建模方

式，很少考虑对话上下文信息对语音情感识别的影响。在文本情感识别方面，虽

然已有的研究考虑到对话上下文信息的影响，但是大部分工作都缺乏对隐藏在对

话过程中情感交互行为的考虑，造成对上下文信息的建模不够充分。针对上述问

题，本文分别从语音声学和文本内容这两个方面展开研究，主要贡献总结如下：

（1）对于语音模态，提出了基于多阶段图表征学习的对话级语音情感识别方

法。首先，使用卷积神经网络级联长短时记忆网络从语音声学特征中提取语句表

征。然后，将语句表征通过图网络的方式重新组织成对话的形式，通过从不同距

离的对话范围内进行多阶段图表征建模来更充分有效的捕捉语句之间的上下文

情感信息。最后，在模型分类阶段，增加对对话氛围的约束来辅助模型进行语句

的情感分类。实验结果验证了设置对话氛围约束的有效性。同时，本文提出的方

法在IEMOCAP数据集中实现了70.19%（WA）和69.76%（UA），较先前经典的

语句级语音情感识别方法有明显的提升。

（2）对于文本模态，提出了基于交互表征学习的对话级文本情感识别方法。

该方法主要包含三个重要的模块，分别隶属于两个不同的建模阶段。在交互表征

感知阶段，通过对说者和听者共同建模来模拟人类对话的交互过程，并以此捕捉

说话人内部和说话人之间的情感依赖线索。在交互表征融合阶段，通过知识选择

与增强模块从引入的外部知识中提炼出有效的部分来增强当前时刻语句的语义

信息。接着，通过多层感知融合模块对来自不同视角的多种信息进行融合，以产

生对预测当前语句所属情感类别的一致性判断。实验结果表明，该方法在四个常

用基准数据集中均能提升对话情感识别模型的性能。

I

综上，本文分别从语音声学和文本内容两个方面进行了对话情感识别技术的

研究，所提出的两种方法均具有较高的理论研究和实际应用价值。

关键词：情感计算，对话情感识别，上下文信息，图表征学习，交互表征学习

II

ABSTRACT

Emotionrecognition,asanimportantpartofartificialemotionalintelligence,isa

keytechnologythatallowsmachinestograduallyunderstandhumanemotionsandthus

achievehuman-machineemotionalinteraction.Inrecentyears,withthepopularityof

smartinteractivedevices,dialogue-basedhuman-machineinteractionhasbecomethe

mainstreamformofcarryinginteractivedata,andrealisinginteractionwithemotion

inthehuman-computerinteractionscenarioofsmartdevicescaneffectivelyimprove

communicationefficiencyandexperience.Therefore,dialogueemotionrecognition

technologyisofgreatresearchvalueandhasreceivedgreatattentionfrom