基于音视频增强文本的多模态情感分析.pdfVIP

摘要

在近年来，随着智能科技的持续进步，在线社交短视频平台如抖音的风靡，

以及小度等智能机器人在家庭中的广泛使用，可获得的多模态数据呈现出指数级

增长的趋势，大量的多模态数据为多模态情感分析技术的研究打下了坚实的基础。

多模态情感分析技术旨在能够从动态视频中提取不同的模态信息，并且迅速准确

地识别出情感类别，利用明显的情感倾向在各领域起指导作用，在医疗领域，智

能系统通过分析患者的面部表情、声音的抑扬顿挫以及身体语能，精准地捕捉他

们的情绪状态，协助医生提供更具同理心的治疗计划；在智能交通管理方面，需

要监控司机的情绪变化，及时察觉疲劳、分心或者愤怒等可能引发驾驶失误和交

通事故的情绪状态并发出警报，故而在此背景下，通过各种手段去提升情感分析

的效率和准确率是有必要的。针对模型密度差异和注意力机制会引发混淆效应这

两个问题，本研究以文本、视频和音频为主要研究对象，利用特定的深度学习技

术来充分捕获模态共享内容，获取更加准确的情感分类结果。主要所做工作内容

如下：

（1）构建所需的多模态情感分析数据集，对公开数据集进行特征提取后使

用相关的数据预处理方法进行优化，同时在第五章中改变了文本特征提取方式，

为预训练模型额外融入了两个特殊的语义信息词性嵌入和词级情感极性嵌入，使

其能够对文本进行更深层次的情感分析，从而增强模型在处理涉及情感色彩的任

务时的表现力。

（2）为了降低注意力机制所带来的混淆效应的影响，改善模型密度差异，

构建了一种基于因果门控注意力机制的多模态情感分析方法，设计了两个创新模

块：一是基于特征掩膜的文本嵌入模块；二是因果门控跨模态注意网络模块。通

过模态间的分批次交互，将联合表征的音视频双模态传递到文本单模态以最大化

消除固有的冗余噪声，从对比实验可见，对比最优的基准模型在F1得分上提升了

1.0%，在Acc-2上提升了0.9%，在Acc-7上提升了2.2%，证明了该模型具有不错

的情感分类效果。

（3）构建了一个基于预训练模型的多模态情感分析增益网络，设计了一个

音视频模态特征转换方法，有效地整合来自不同模态的信息，以丰富并强化预训

练语言模型中的文本表征，增强模型对情感细微差异的识别能力，利用预训练模

型中蕴含的丰富语义信息，进一步提升模型的情感分析性能。

关键词：多模态学习，注意力机制，情感分析，循环神经网络

Abstract

Inrecentyears,withthecontinuousprogressofintelligenttechnology,thepopularity

ofonlinesocialshortvideoplatformssuchasDouyin,andthewidespreaduseof

intelligentrobotssuchasXiaoduinfamilies,theavailablemultimodaldatahasshownan

exponentialgrowthtrend,andalargeamountofmultimodaldatahaslaidasolid

foundationfortheresearchofmultimodalsentimentanalysistechnology.Multimodal

sentimentanalysistechnologyaimstoextractdifferentmodalinformationfromdynamic

videos,andquicklyandaccuratelyidentifyemotionalcategories,anduseobvious

emotionaltendenciestoplayaguidingroleinvariousfields.Inthemedicalfield,

intelligentsystemsaccuratelycapturetheemotionalstateofpatientsbyanalyzingtheir

facialexpression