深层注意力和两阶段融合的图文情感对比学习方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（3）223

深层注意力和两阶段融合的图文情感对比学习方法

1，2+1

余本功，石中玉

1.合肥工业大学管理学院，合肥230009

2.合肥工业大学过程优化与智能决策教育部重点实验室，合肥230009

+通信作者E-mail：bgyu@

摘要：图文数据逐渐成为网络舆情的主流载体，图文情感分析利用多模态的信息互补效应提高情感分析效果，在

人机对话、舆情监控等领域具备极大的应用潜能。以往的研究大多将图像和文本的特征拼接后再使用注意力进行

融合，模态信息交互不充分，融合特征存在大量的噪声。提出了一种深层注意力和两阶段融合的图文情感对比学习

方法。使用深层跨模态注意力网络进行模态交互，有助于提取不同模态的隐藏信息。设计的跨模态门控融合模

块利用门控机制和注意力实现特征的两阶段融合，动态调整特征权重，降低数据噪声。模型通过对比学习和情感分

类任务的联合训练，充分捕获与情感相关的跨模态共同特征，有利于提升模型的鲁棒性。方法在MVSA-Single、

MVSA-Multiple和HFM等数据集上进行实验得到的准确率和F1值相较于基线模型的最优者平均提升了1.04和

0.96个百分点。

关键词：图文情感分析；深层注意力；两阶段融合；门控注意力机制；对比学习

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2309-0470

DeepAttentionandTwo-StageFusionofImage-TextSentimentContrastiveLearningMethod

YUBengong1，2+,SHIZhongyu1

1.SchoolofManagement,HefeiUniversityofTechnology,Hefei230009,China

2.KeyLaboratoryofProcessOptimizationIntelligentDecision-Making,MinistryofEducation,HefeiUniversityof

Technology,Hefei230009,China

Abstract：Imageandtextdatahavegraduallybecomethemainstreamcarrierofonlinepublicopinion.Image-textsenti-

mentanalysisutilizesmultimodalinformationcomplementaritytoimprovetheeffectivenessofsentimentanalysis,and

hasgreatapplicationpotentialinfieldssuchashuman-machinedialogueandpublicopinionmonitoring.Previousstudies

havemostlyconcatenatedimageandtextfeaturesbeforeusingattentionforfusion,resultingininsufficientinteractionof

modalinformationandalargeamountofnoiseinthefusionvector.Thedeepattentionandtwo-stagefusionofimage-text

sentimentcontrastivelearningmethodisproposed.Modalinteractionisperformedusingadeepcross-modalattention

networktofullycapturethehiddeninformationofdifferentmodalities.Thedesignedcross-modalgatingfusionmodule

utilizesthegatingmechanismandatte