基于多模态融合的社交媒体图文分类算法研究.pdf

华中科技大学硕士学位论文

摘要

随着互联网技术的飞速发展，社交媒体中出现了越来越多的多模态数据。这些多

模态数据包含文本、图像和视频等大量有用信息，在情感分类、个性化推荐和舆情监

控等方面都具有极其重要的作用。本文旨在研究基于多模态融合的社交媒体图文分

类算法，并从张量特征融合和神经网络特征融合这两个角度来研究，提出两种粗粒度

的图文多模态分类模型：

（1）针对基于向量拼接的多模态分类模型的低效性和主流多模态分类模型忽略

单模态信息等问题，本文提出一种基于紧凑双线性池化和多重损失的多模态分类模

型。该模型使用紧凑双线性池化进行多模态融合，并在模型的训练阶段引入多重损失

函数，以增强模型对单模态信息的处理能力。在两个公开多模态数据集上，该模型在

仅使用粗粒度信息和具有更低模型复杂度的情况下，达到细粒度模型的最优结果。

（2）针对预训练模型的多层次编码信息利用不充分和多模态融合模块复杂度高

等问题，本文提出一种基于门控多模态单元和多层次编码的多模态分类模型。该模型

联合建模数据的多模态信息和多层次信息，使用预训练模型进行单模态特征提取，并

保存特征表示的多层次编码信息，且使用门控多模态单元进行模态间和层次间的特

征融合。在两个公开多模态数据集上，该模型在仅使用粗粒度信息和具有更低模型复

杂度的情况下，取得了比细粒度模型更优的结果，在两个数据集的准确率上分别提升

0.96%和1.14%。

由于细粒度信息需要额外的标注成本，本文提出的粗粒度多模态分类模型的应

用场景更加广泛。为了验证本文提出的模型的有效性和泛化性，本文构建了实验室私

有的粗粒度多模态数据集AIFUN，并在本文提出的两种多模态分类模型以及主流模

型上进行对比实验。实验结果表明，本文提出的两种多模态分类模型在各项性能指标

上均优于主流模型，并且基于神经网络特征融合的多模态模型的分类效果要优于基

于张量特征融合的多模态模型，在准确率上达到最优结果88.26%。

关键词：多模态分类；社交媒体；多模态融合；双线性池化；门控多模态单元

I

华中科技大学硕士学位论文

Abstract

WiththerapiddevelopmentofInternettechnology,moreandmoremultimodaldata

appearinsocialmedia.Thesemultimodaldatacontainrichusefulinformationsuchastexts,

images,andvideos,andplaythecrucialroleinsentimentanalysis,personalized

recommendation,andpublicopinionmonitoring.Thetopicofthisthesisistheclassification

algorithmofimagesandtextsinsocialmediabasedonthemultimodalfusion.Wepropose

twocoarse-grainedmultimodalclassificationmodelsbasedontensorfeaturefusionand

neuralnetworkfeaturefusion:

(1)Aimingattheinefficiencyofthemultimodalclassificationmodelbasedonvector

concatenationandthedisregardofsingle-modalinformationbythemultimodal

classificationmodel,weproposeamultimodalclassificationmodelbasedonthecompa