专家路由的方面级多模态情感分析.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（10）155

专家路由的方面级多模态情感分析

1，2+1112

赵京胜，王永政，杨心怡，曲维龙，朱巧明

1.青岛理工大学信息与控制工程学院，山东青岛266520

2.苏州大学计算机科学与技术学院，江苏苏州215006

+通信作者E-mail：zhao5199@163.com

摘要：在方面级多模态情感分析领域，通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对，前者

提取句子中人物、商品等实体的方面词，后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两

个子任务，但存在各自的问题：（1）使用两个独立模型分别处理两个子任务，不同模型之间语义关联度较差，两个任

务之间的底层特征无法得到延续；（2）使用一个模型同时处理两个子任务，两个任务共享一套模型参数，难以针对方

面术语提取和方面级情感分类特点提升各任务性能，使提取方面-情感对的效率低。为解决上述问题，提出了专家

路由的方面级多模态情感分析方法。在一个模型中针对性处理两个子任务，引入专家路由思想，采用稀疏-激活策

略，即并非所有参数都会在处理每个输入时被激活，而是根据输入的特定任务需求，只有部分参数集合被调用处理

各个任务。模型利用图像（文本）关键信息关注文本（图像）相关联的部分，形成视觉区域与包含情感信息方面词的

初步的局部对应语义关联，通过门控单元获取模态间共享互补的深度混合语义矩阵。最后通过方面级情感分类模

块进行情感预测。在两个公开数据集Twitter2015和Twitter2017上的实验结果表明该模型优于一系列基线模型。

关键词：方面级多模态情感分析；专家路由；门控单元；注意力机制

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2401-0274

Aspect-LevelMultimodalSentimentAnalysisBasedonExpertsRouting

1，2+1112

ZHAOJingsheng,WANGYongzheng,YANGXinyi,QUWeilong,ZHUQiaoming

1.SchoolofInformationandControlEngineering,QingdaoUniversityofTechnology,Qingdao,Shandong266520,China

2.SchoolofComputerScienceandTechnology,SoochowUniversity,Suzhou,Jiangsu215006,China

Abstract：Inthefieldofaspect-levelmultimodalsentimentanalysis,aspect-sentimentpairsinsentencesareobtained

throughaspect-termextractionandaspect-levelsentimentclassificationtasks.Theformerextractsaspectsofentitiessuch

ascharactersandproductsinthesentence,whilethelatterpredictstheuser’ssentimentpolaritybasedongivenaspect-

terms.Therearecurrentlytwomainstreammethodstocompletetwosubtasks,buteachhasitsownproblems:(1)Using

twoindependentmodelstohandletwosubtasksseparately.Thesemanticcorrelationbetween