基于多模态信息融合的中文隐式情感分析.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（2）179

基于多模态信息融合的中文隐式情感分析

1，23+4

张换香，李梦云，张景

1.内蒙古科技大学创新创业教育学院，内蒙古包头014010

2.上海大学计算机工程与科学学院，上海200444

3.内蒙古科技大学数智产业学院，内蒙古包头014010

4.内蒙古科技大学理学院，内蒙古包头014010

+通信作者E-mail：1227672355@

摘要：隐式情感表达中缺乏显式情感词，给隐式情感分析带来一定的挑战。为有效解决此问题，借助外部信息是

有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同，提出一种融合多模态信息（包括

语音和视频）的隐式情感分析方法。通过从语音中提取音调、强度等声学特征，以及从视频中捕捉面部表情等视觉

特征，辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息；结合多头互注意力机制分别捕捉与

文本相关的语音和视觉特征，并通过迭代优化，减少非文本模态的低阶冗余信息。此外，通过设计以文本为中心的

交叉注意融合模块，强化隐式文本特征表示，并处理模态间的异质性，增强隐式情感分析的综合性能。在CMU-

MOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明，所提出的模型优于其他基线模型。这种针对隐式情感分

析的多模态处理策略，充分利用语音和视觉外部知识，更全面、准确地捕捉隐式情感表达，有效提升了隐式情感分析

的准确率。

关键词：隐式情感分析；深度神经网络；多模态；注意力机制；特征融合

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2406-0108

ImplicitSentimentAnalysisforChineseTextsBasedonMultimodalInformationFusion

ZHANGHuanxiang1，2,LIMengyun3+,ZHANGJing4

1.CollegeofInnovationandEntrepreneurshipEducation,InnerMongoliaUniversityofScienceandTechnology,Baotou,

InnerMongolia014010,China

2.CollegeofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China

3.CollegeofDigitalandIntelligentIndustry,InnerMongoliaUniversityofScienceandTechnology,Baotou,InnerMongolia

014010,China

4.CollegeofScience,InnerMongoliaUniversityofScienceandTechnology,Baotou,InnerMongolia014010,China

Abstract：Thelackofexplicitsentimentwordsinimplicitsentimentexpressionsposescertainchallengestoimplicitsenti-

mentanalysis.Inordertosolvethisproblem,thepapercanresorttoexternalinformation,whichisoneofthemethodsfor

addressingimplicitsentimentanalysis.Differentfromtheexistingresearchthatdrawsonsingletextualinformation,an

implicitsentimentanalysismethodthatincorporatesmultimodalinformation(includingspeechandvide