基于注意力机制和对比学习的多模态情感分析.pdfVIP

第３９卷第４期北京信息科技大学学报（自然科学版）Ｖｏｌ．３９Ｎｏ．４

２０２４年８月ＪｏｕｒｎａｌｏｆＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ（ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＥｄｉｔｉｏｎ）Ａｕｇ．２０２４

文章编号：１６７４－６８６４（２０２４）０４－００６３－０８ＤＯＩ：１０１６５０８／ｊ．ｃｎｋｉ．１１－５８６６／ｎ．２０２４０４００９

基于注意力机制和对比学习的多模态情感分析

１２

方旭东，王兴芬

（１．北京信息科技大学计算机学院，北京１０２２０６；２．北京信息科技大学信息管理学院，北京１０２２０６）

摘要：针对现有多模态情感分析模型中各模态信息融合不充分以及对时序依赖性挖

掘不足的问题，提出了一种结合跨模态注意力、全局自注意力和对比学习的多模态情感分析模型，

提高了情感理解的深度。具体来说，首先，分别提取音频、文本、图像３个模态的特征，并将它们映

射到同一向量空间中。随后，采用跨注意力机制和全局注意力机制对模态间数据进行有效建模和

融合。同时，引入基于数据、标签和时序的对比学习任务，深化模型对多模态特征差异性的理解。

在ＣＭＵＭＯＳＩ和ＣＭＵＭＯＳＥＩ两个公开数据集上的实验结果表明，相较于模态不变和模态特定表

示（ｍｏｄａｌｉｔｙｉｎｖａｒｉａｎｔａｎｄｓｐｅｃｉｆｉｃｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ，ＭＩＳＡ）模型，本文模型的二分类准确率分别提升

了１．２和１．６百分点，且Ｆ１值分别提升了１．０和１．６百分点。

关键词：多模态；情感分析；注意力机制；对比学习

中图分类号：ＴＰ３９１文献标志码：Ａ

Ｍｕｌｔｉｍｏｄａｌｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｂａｓｅｄｏｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ

ａｎｄｃｏｎｔｒａｓｔｉｖｅｌｅａｒｎｉｎｇ

１２

ＦＡＮＧＸｕｄｏｎｇ，ＷＡＮＧＸｉｎｇｆｅｎ

（１．ＣｏｍｐｕｔｅｒＳｃｈｏｏｌ，ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０２２０６，Ｃｈｉｎａ；

２．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ，ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０２２０６，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｔｏａｄｄｒｅｓｓｔｈｅｃｈａｌｌｅｎｇｅｓａｓｓｏｃｉａｔｅｄｗｉｔｈｉｎａｄｅｑｕａｔｅｉｎｔｅｇｒａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎａｃｒｏｓｓ

ｍｏｄａｌｉｔｉｅｓａｎｄｌｉｍｉｔｅｄａｎａｌｙｓｉｓｏｆｔｅｍｐｏｒａｌｄｅｐｅｎｄｅｎｃｉｅｓｉｎｅｘｉｓｔｉｎｇｍｕｌｔｉｍｏｄａｌｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｍｏｄｅｌｓ，ａ

ｍｏｄｅｌｉｎｃｏｒｐｏｒａｔｉｎｇｃｒｏｓｓｍｏｄａｌａｔｔｅｎｔｉｏｎ，ｇｌｏｂａｌｓｅｌｆａｔｔｅｎｔｉｏｎ，ａｎｄｃｏｎｔｒａｓｔｉｖｅｌｅａｒｎｉｎｇｗａｓｐｒｏｐｏｓｅｄ，ｔｏ

ｄｅｅｐｅｎｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ．Ｓｐｅｃｉｆｉｃａｌｌｙ，ｆｅａｔｕｒｅｓｆｒｏｍｓｐｅｅｃｈ，ｔｅｘｔ，ａｎｄｉｍａｇｅｍｏｄａｌｉｔｉｅｓｗｅｒｅｉｎｄｅｐｅｎｄｅｎｔｌｙ

ｅｘｔｒａｃｔｅｄ，ａｎｄｍａｐｅｄｉｎｔｏａｕｎｉｆｉｅｄｖｅｃｔｏｒｓｐａｃｅ．Ｔｈｅｎ，ｉｎｔｅｒｍｏｄａｌｄａｔａｗａｓｅｆｆｅｃｔｉｖｅｌｙｍｏｄｅｌｅｄａｎｄ

ｉｎｔｅｇｒａｔｅｄｕｓｉｎｇｂｏｔｈｃｒｏｓｓａｔｔｅｎｔｉｏｎａｎｄｇｌｏｂａｌａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｓ．Ｍｅａｎｗｈｉｌｅ，ｃｏｎｔｒａｓｔｉｖｅｌｅａｒｎｉ