基于图的交互增强网络用于稳健的多模态情感分析.pdfVIP

A

JOURNALOFLTXCLASSFILES,VOL.14,NO.8,AUGUST20151

E

基于图的交互增强网络用于稳健的多模态情

感分析

ZhangfengHu,MengxinShi,

摘要—现实世界场景中的不可避免的模态不完美给多模态NOWHUGHJACKMANWASALWAYSTHEBESTCHOICETOPLAYWOLVERINEIWILLADMITTHAT

情感分析（MSA）带来了重大挑战。虽然现有方法定制了重建(a)

或联合表示学习策略来恢复缺失的语义，但它们往往忽视了模态

内和跨模态之间的复杂依赖关系。因此，它们无法充分利用可用

NOWHUGHJACKMANWASALWAYSTHEBESTCHOICETOPLAYWOLVERINEIWILLADMITTHAT

的模态来捕捉互补性语义。为此，本文提出了一种新颖的基于图

(b)

本框架，以利用模态内和跨模态交互作用，使不完美的样本能够从

译互补部分推导出缺失的语义，实现稳健的MSA。具体来说，我NOWHUGHJACKMANWASALWAYSTHEBESTCHOICETOPLAYWOLVERINEIWILLADMITTHAT

们首先设计了一个可学习的超图来建模范式内的时间依赖关系，

中以利用每个模态内的上下文信息。然后，使用有向图基于注意力(c)

1机制探索跨模态相关性，捕捉不同模态之间的互补信息。最后，

v将完美样本的知识整合到交互过程中进行监督，引导模型学习可

8

6靠且稳健的联合表示。在MOSI和MOSEI数据集上的广泛实

11图1.三种模态不完美情况的示例：(a)随机缺失，其中每个模态内的特征随

验验证了我们方法的有效性。

1机缺失；(b)时间缺失，其中所有模态中的特征在随机位置同时缺失；(c)结

0IndexTerms—多模态情感分析，不完整多模态学习，图构时间缺失，其中模态间的特征连续且同时缺失。

.

8卷积，信息交互

0

5两种模态之间的互信息来恢复缺失的模态。[10]引入了

2

:I.介绍关系图来基于跨模态的时间和说话人依赖性重建缺失

v

iREVIOUS研究[1],[2],[3]多模态情感分析模态。[8]利用了基于分数的扩散模型来恢复缺失模态

x

rP（MSA）在假设所有模态都可用的情况下，通过的分布。尽管提供了高可解释性，但确保生成的缺失模

a

利用视觉、音频和语言之间的共同和互补线索来理解说态的质量仍然具有挑战性，并且不准确的重建可能会传

话者的情感状态，表现出令人鼓舞的性能。然而，在现播到下游任务中，可能降级多模态分析性能。2)联合表

实世界的情景中，由于隐私问题、设备故障和背景噪音示学习专注于直接跨不完整模态学习高级联合表示，而

等因素，获得完美的模态数据是具有挑战性的。图1描无需单独生成每个缺失的模态。通常，多模态知识会被

绘了三种类型的模态不完美情况，这些不可避免地会降提炼出来以恢复缺失的联合语义。[11]设计