视频多模态情感分析关键技术研究综述.pdfVIP

计算机科学与探索1673-9418/2025/19(03)-0539-20

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2404072

视频多模态情感分析关键技术研究综述

+

段宗涛，黄俊臣，朱晓乐

长安大学信息工程学院，西安710018

+通信作者E-mail:jchuang@chd.

摘要：情感分析是自动判定观点持有者所表现的态度或情绪倾向性的过程，其在商业、社交媒体分析和舆情监测

等领域得到了广泛应用。在单一模态情感分析中，多数研究者使用文本、面部表情和音频信息来进行分析。然而，

随着深度学习技术的快速发展，情感分析逐渐从单一模态扩展至多模态领域，综合多种模态，能够克服单一模态存

在的局限性并更加准确和全面地理解人们所表达的情感。以三种单模态情感分析为基础对多模态情感分析中的关

键技术进行了综述。简要介绍了多模态情感分析的背景和目前的研究现状；总结了常用的相关数据集；分别对基于

文本、面部表情和音频信息的单模态情感分析进行了简要叙述；重点梳理了视频多模态情感分析中的关键技术，如

多模态融合、对齐和模态噪声处理，并对这些技术的关系与应用进行了详细分析；对不同模型在三种常用数据集上

的性能指标进行了分析，进一步验证了关键技术的有效性。讨论了多模态情感分析现存问题和未来的发展趋势。

关键词：情感分析；多模态；模态融合；模态对齐；模态噪声

文献标志码：A中图分类号：TP391

ReviewonKeyTechniquesofVideoMultimodalSentimentAnalysis

+

DUANZongtao,HUANGJunchen,ZHUXiaole

SchoolofInformationEngineering，ChanganUniversity，Xian710018,China

Abstract:Sentimentanalysisistheprocessofautomaticallydetermininganopinionholdersattitudeoremotionaltendency.

Itiswidelyusedinbusiness,socialmediaanalysis,andpublicopinionmonitoring.Inunimodalsentimentanalysis,most

researchersusetext,facialexpressions,andaudioinformation.Withthedevelopmentofdeeplearningtechnology,senti-

mentanalysishasexpandedfromaunimodaltoamultimodalfield.Combiningmultiplemodalitiescanaddressthelimita-

tionsofaunimodalandunderstandtheemotionsexpressedbypeoplemoreaccuratelyandcomprehensively.Thispapersum-

marizesthecriticaltechniquesofmultimodalsentimentanalysisbasedonthreekindsofunimodalsentimentanalysis.

Firstly,themultimodalsentimentanalysisbackgroundanditsresearchstatusarebrieflyintroduced.Secondly,therelevant

datasetsthatarecommonlyusedaresummarized.Then,thispaper