基于多模态信息融合的虚假新闻检测方法研究.pdfVIP

摘要

随着移动互联网技术的快速发展，信息的传播呈现出多样化的特点，以Twitter和

微博等社交媒体平台为核心的在线环境，已经成为用户获取信息的主要渠道，极大地

提高了信息获取的便利性。然而，这些平台也加剧了虚假新闻的扩散速度，使得不实

信息更易于在社交网络中广泛传播，虚假新闻对社会结构造成的负面影响日益显现。

这些虚假新闻具有广泛的影响，传播速度快，且采用了多种欺骗手段。恶意虚假新闻

可能引发公众恐慌，对企业造成损害，并可能损害政府的信誉。因此，识别和防范虚

假新闻变得至关重要。早期的研究主要集中在虚假新闻检测机制的文本特征，对于学

习多模态（文本+视觉）特征表示的研究比较有限，且目前的多模态虚假新闻检测方法

主要将文本和图像特征连接起来，以获得联合的多模态特征表示，这些方法尚未充分

挖掘多模态信息之间的相似性关系，而理解这种相似性关系对于虚假新闻的准确检测

至关重要。为了克服这些局限性，本研究设计了用于检测虚假新闻的多模态框架。主

要工作内容如下：

（1）提出基于相似性推理和增强对抗网络的多模态虚假新闻检测框架EANBS。

对于文本特征的提取，该模型使用BERT和Text-CNN模型，将其进行融合，得到文本

特征。对于图像特征的提取，使用VGG-19模型，接下来通过相似性学习和推理获取

Text-CNN提取的文本特征和图像特征之间的相似性表示，然后，将这个表示与文本特

征和图像特征拼接在一起，用于虚假新闻检测。最后，通过增强对抗网络技术来揭示

虚假新闻与事件之间的关联。所提模型在微博和Twitter公开数据集上准确率分别为89%

和86%，比起传统的单模态模型和已有的多模态模型，具备更高的检测性能。

（2）提出改进的基于相似性推理和增强对抗网络的多模态虚假新闻检测框架

EANGS，试图在相似性聚合中考虑非意义词的干扰，利用相似性注意过滤模块，降低

无关干扰。在文本词向量的更新过程中整合了图像特征，采用的是注意力机制，从而

获得了一个结合了图像和文本信息的特征向量。所提模型在微博和Twitter公开数据集

上的准确率分别为91%和87%，证明了该框架的有效性。

关键词：虚假新闻检测；注意力机制；图像-文本相似性；多模态融合

Abstract

Withtherapiddevelopmentofmobileinternettechnology,thedisseminationof

informationexhibitsdiversecharacteristics.SocialmediaplatformssuchasTwitterandWeibo

havebecometheprimarychannelsforuserstoaccessinformation,greatlyenhancingthe

convenienceofinformationretrieval.However,theseplatformsalsoexacerbatethespeedof

fakenewspropagation,makingmisinformationmorepronetowidespreaddisseminationon

socialnetworks.Thenegativeimpactoffakenewsonsocietalstructuresisincreasinglyevident.

Thesefakenewshavefar-reachingeffects,propagaterapidly,andemployvariousdeceptive

tactics.Maliciousfakenewsmayinducepublicpanic,damagetobusinesses,andpotentially

underminegovernmentcredibility.Therefore,identifyingandpreventingfakenewshas

becomeparam