《多模态融合方法研究文献综述》2600字.docxVIP

多模态融合方法研究文献综述

目录

TOC\o1-3\h\u3425多模态融合方法研究文献综述 1

315461.1多模态融合的意义 1

76971.2模型无关的多模态融合方法 2

121161.3基于模型的多模态融合方法 2

正如绪论中所述，多模态融合是多模态学习的原始课题之一，有着丰富的发展历史。接下来，本章将分多模态融合的意义、模型无关的多模态融合方法、基于模型的多模态融合方法三部分对多模态融合方法的研究历程进行分析。

1.1多模态融合的意义

从技术上讲，多模态融合是指整合来自多种模态的信息，目的是预测一个结果指标：如通过分类预测类别（如快乐与悲伤），或通过回归预测连续值（如情感的积极性评分）。

多模态融合能够为多模态学习带来三方面的优势[20]：首先，结合同一主体或事件的多个模态数据可以使预测更加可靠。这一点已经在视听语音识别领域有了广泛的应用[21]。唇部视觉信息和音频信息的结合给语音识别任务带来了可观的效果提升。其次，多种模态数据能够帮助我们捕捉到互补的信息，这是单模态学习所无法做到的。最后，当其中一个模态数据缺失时，多模态学习系统仍然可以运行，具有更强的鲁棒性。例如，当人不说话时，多模态网络仍然可以从视觉信号中识别出情绪[22]。

多模态融合的应用范围非常广泛，包括视听语音识别[21]、多模态情感识别[23]、和多媒体事件检测[2