基于超图结构的多模态融合及情感分析方法研究.pdfVIP

大连理工大学硕士学位论文

摘要

近年来，随着信息技术的迅猛发展，信息存储与表达的方式日益多样化，信息来

源也愈加广泛。在此背景下，多模态数据融合技术通过整合多种不同模态的数据特

征，实现对信息的多领域综合利用。单一模态的信息往往难以全面呈现数据源或现象

的所有信息，而多模态融合技术能够弥补这一不足，提供更丰富的信息。在融合过程

中，多模态数据融合技术注重保持各模态信息的完整性和多样性，同时最大化利用各

模态的优势，减少信息融合过程中可能出现的内容损失和失真。

基于多模态特征融合技术，多模态情感分析成为自然语言处理领域的重要研究课

题之一。多模态情感分析包括文本、视觉和声学信息的整合，区别于传统的仅关注文

本模态的情感分析方法，能够有效捕捉讽刺、夸张等特殊表达形式。然而，目前许多

流行的多模态情感分析方法在应对复杂数据结构时，往往忽略了对多模态信息特征的

表征，导致对模态内部信息的理解能力不足，进而影响系统性能。

因此，本文结合超图结构理念和多维概率分布映射空间，提出了一种高效的多模

态特征融合模型，并应用于多模态情感分析任务。采用更加优秀的结构来承载神经网

络模型，通过高纬度的超边结构表征数据集中的抽象复杂的关系，从而提升模型的学

习能力。主要研究工作如下：

基于超图神经网络对数据特征进行超图结构表征，引入超图概念，通过高维关系

的特征表征，提出了基于概率分布的动态构造模块，以优化传统方法下的特征边界模

糊问题。此外，提出了结合超边与数据节点的联动更新机制，更新原有的特征超图网

络，修剪关系薄弱的超边，形成新的超图网络。通过超图神经网络的特征表征，能够

有效提升情感分析任务中不同模态信息的协同处理能力，为后续情感分析模型提供了

更精准的特征输入。

基于构建的超图结构，将单一模态信息扩展至多模态信息领域，引用不同模态间

的互信息进行估计与优化，形成针对多模态的模态信息对齐方法，形成含有模态间信

息标签的多模态特征表征方法。将多模态数据与文本模态对齐，形成含有模态间信息

标签的多模态特征表征方法。这一过程确保了各模态信息在融合时的有效对齐，减少

了信息丢失和失真，为多模态情感分析打下基础。

基于构建的超图结构，分别表征文本、视觉和声学信息，并构建深层超图卷积神

经网络进行多模态融合，形成跨模态特征图。最后，将特征图输入多层感知机，输出

样本在每种情感标签上的概率分布，通过负样本强化的损失函数优化训练过程，完成

多模态情感分析任务。

最后，对所提出的多模态特征融合和情感分析方法的优缺点进行了归纳与总结，

并对超图结构框架在多模态交互任务中的发展前景进行了合理的分析与展望。

I

基于超图结构的多模态融合及情感分析方法研究

关键词：超图卷积；模态对齐；跨模态特征融合；多模态情感预测

II

大连理工大学硕士学位论文

ABSTRACT

Inrecentyears,withtherapiddevelopmentofinformationtechnology,themethodsof

storingandexpressinginformationhavebecomeincreasinglydiverse,andthesourcesofin-

formationhavebecomemoreextensive.Inthiscontext,multimodaldatafusiontechnology

integratesthedatacharacteristicsofvariousmodalitiestoachievecomprehensiveutilization

ofinformationacrossmultiplefields.Single-modalinformationoftenstrugglestofullyrep-

resentalltheaspectsofadatasourceorphenomenon,whereasmultimoda