结合局部感知与多层次注意力的多模态方面级情感分析.pdfVIP

研究论文第51卷第9期/2025年9月/计算机工程

结合局部感知与多层次注意力的多模态方面级情感分析

曾碧卿}²,姚勇涛,谢梁琦，陈鹏飞,邓会敏,王瑞棠²

（1.华南师范大学软件学院，广东佛山528225；2.华南师范大学阿伯丁数据科学与人工智能学院，广东佛山528225；

3.广东农工商职业技术学院计算机学院，广东广州510507)

摘要：多模态方面级情感分析（MABSA)旨在从图文对中分析方面词的情感极性。现有方法致力于抽取图像

和文本的情感特征。然而，图像和文本的各个特征不一定对最终的情感分析是有效的，图像和文本通常在方面词

情感相关的区域外含有大量的余信息与噪声信息，并且图像和文本的不同区域可能对应不同方面词，导致在构

建图像和文本特征抽取的初步阶段引人噪声。此外，图像和文本的方面词相关的情感极性可能是对立的，即两者

存在交互信息。为了解决上述问题，提出结合局部感知与多层次注意力的MABSA模型。首先，设计局部感知模

块，筛选与方面词语义相关的文本内容及图像区域；然后，引入多层次注意力模块，使用瓶颈注意力机制进行模态

交互信息的提取，提高了情感信息的聚合准确率。实验结果表明，该模型能够在Twitter2015

ZOL数据集上达到SOTA(State-of-the-Art)性能，显著优于同类模型。

关键词：多模态方面级情感分析；局部感知；多层次注意力；局部上下文；瓶颈注意力

中图分类号：TP391文献标志码：AD0I:10.19678/j.issn.1000-3428.0069705

MultimodalAspect-BasedSentimentAnalysisCombiningLocalPerception

andMulti-LevelAttention

ZENGBiqing2,YAOYongtao,XIELiangqi,CHENPengfei,DENGHuimin,WANGRuitang

(1.SchoolofSoftware,SouthChinaNormalUniversity,Foshan528225,Guangdong,China;

2.AberdeenInstituteofDataScienceandArtificialIntelligence,SouthChinaNormalUniversity,Foshan528225,Guangdong,China;

3.SchoolofComputingScience,GuangdongAgricultureIndustryBusinessPolytechnic,Guangzhou510507,Guangdong,China)

[Abstract)MultimodalAspect-BasedSentimentAnalysis(MABSA)aimstoanalyzethesentimentpolarityof

aspectwordsderivedfromtextandimagepairs.Existingmethodsprimarilyfocusonextractingemotionalfeatures

frombothimagesandtexts.However,thevariousfeaturesofimagesandtextsmaynotnecessarilybeeffectivefor

thefinalsentimentanalysis.Bothimagesandtextoftencontainalargeamountofredundantandnoisyinformation

outsidetheareasrelatedtoaspectwords,anddifferentregionsofimagesandtextmayberelatedtodifferentaspect