利用信息瓶颈的多模态情感分析.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（2）137

利用信息瓶颈的多模态情感分析

1，21，21，21，21，2

程子晨，李彦，葛江炜，纠梦菲，张敬伟

1.天津师范大学电子与通信工程学院，天津300387

2.天津市无线移动通信与无线电能传输重点实验室，天津300387

摘要：在多模态情感分析领域，之前的研究主要集中在如何针对不同模态的信息进行交互融合。然而基于各种复

杂的融合策略会使得生成的多模态表示向量不可避免地携带大量与下游任务无关的噪声信息，这会导致较高的过

拟合风险，并且影响高质量预测结果的生成。为解决上述问题，根据信息瓶颈理论，设计了包含两个互信息估计器

的互信息估计模块，旨在优化多模态表示向量与真实标签之间的互信息下界，同时最小化多模态表示向量与输入数

据之间的互信息，以达到寻找一种简洁的、具有较好预测能力的多模态表示向量。利用MOSI、MOSEI和CH-SIMS数

据集进行对比实验，结果表明提出的方法是富有成效的。

关键词：多模态情感分析；信息瓶颈理论；互信息估计