基于多模态数据社交媒体分类研究.pdfVIP

基于多模态数据的社交中分类

2019216144计算机技术

：随着社交的广泛应用，图像分类和自然语言处理的技术水平突

飞猛进，这使得实时检测世界各地的取得了重大的进步。应急响应就

是可以从这些进展中获益的领域之一，通过每分钟处理数以亿计的文本和图

像，可以自动检测，以使应急人员能够更好地评估的发展情况并相应

地部署资源。针对这一问题，我们尝试提出一种新的多模态融合方法，利用文

本和图像作为输入。同时引入一个交叉注意力模块，该模块能够逐个样本的从

弱模态中筛选出不具信息性和误导性的部分。此外，采用基于多峰图的方法在

训练过程中不同多峰对的嵌入之间进行随机过渡，以更好地规范学习过程，并

通过从不同样本中构造新的匹配对来处理有限的训练数据。

：多模态；；社交

1.引言

如今的社交每秒钟都会产生海量的数据，而这些数据包含着发生在我们

身边的各种，又随着近些年图像分类和自然语言处理的发展，两项技术开始

应用于大规模数据。