基于跨模态超图优化学习的多模态情感分析.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２４０６００１２７

jj

基于跨模态超图优化学习的多模态情感分析

,

蒋昆１赵征鹏１普园媛１２黄健１谷金晶１徐丹１

云南大学信息学院昆明

１６５０５００

中国云南省高校物联网技术及应用重点实验室昆明

２６５０５００

(_)

iankunw６nl＠stu．nu．edu．cn

jgy

、.

摘要多模态情感分析旨在从文本音频和视觉等多种模态信息中检测出更准确的情感表达以往的研究通过图神经网络

,.,

来捕获跨模态和跨时间的节点情感交互从而获得高度表达的情感信息但图神经网络只能实现二元信息交互这限制了对模

,.,

态间复杂情感交互信息的利用多模态数据中更需要挖掘这种潜在的情感交互信息因此提出了一种基于跨模态超图神经网

,,,

络的多模态情感分析框架利用超图结构可以连接多个节点的特性充分利用模态内和模态间的复杂情感交互信息以挖掘数

.,.

据间更深层次的情感表征此外提出了一种超图自适应模块来优化学习原始超图的结构超图自适应网络通过点边交叉注

、,,.

意力超边采样和节点采样来发现潜在的隐式连接并修剪冗余的超边以及无关的事件节点对超图结构进行更新与优化相

,、,.,

对于初始结构更新后的超图结构能够更准确更完整地表述数据间的潜在情感关联性以达到更好的情感分类效果最后在

,

两个公开的和数据集上进行了广泛的实验结果表明所提框架相对于其他先进算法在多个性能指

CMUＧMOSICMUＧMOSEI

标上提升了１％~６％.

:;;;;