基于深度学习的多模态情感分析模型可解释性研究综述.docVIP

基于深度学习的多模态情感分析模型可解释性研究综述

一、多模态情感分析与可解释性的核心范畴界定

多模态情感分析（MultimodalSentimentAnalysis,MSA）是融合文本、语音、视觉、生理信号等多源异构数据，自动识别用户情感极性、情感类别及情感强度的交叉研究领域，在智能客服、心理健康监测、自动驾驶人机交互、内容推荐等场景已形成规模化应用。随着Transformer架构、多模态预训练模型的迭代，现有MSA模型在公开数据集上的准确率已突破92%，但黑盒特性导致的决策逻辑不透明问题，成为其落地高风险领域的核心瓶颈。

可解释性在MSA场景下的定义具有明确的场景针对性：一方面指人类能够理解模型决策依据的程度，即回答“模型为什么判断该样本为积极情感”；另一方面指解释结果与真实决策逻辑的对齐程度，即解释结果是否真实反映模型的推理过程，而非事后构造的“伪解释”。与单模态情感分析可解释性相比，多模态场景下的解释需求更为复杂，不仅需要解释单模态内部特征的贡献，还需要解释模态间的交互机制、模态融合权重的分配逻辑、跨模态冲突时的决策优先级等问题。

当前MSA可解释性研究形成了两类技术路径的分野：内在可解释性指模型架构本身具备自解释能力，如引入注意力权重可视化、决策规则嵌入、模态贡献度显式建模等设计，让推理过程可直接追溯；事后可解释性指针对已训练完成的黑盒模型，通过外部算法反推其决策逻辑