基于证据增强和局部语义交互的多模态虚假新闻检测.pdfVIP

第48卷第3期计算机学报Vol.48No.3

2025年3月CHINESEJOURNALOFCOMPUTERSMarch2025

基于证据增强和局部语义交互的多模态虚假新闻检测

鸟黄敬旺

钟将高晋鹏杨钰铭

（重庆大学计算机学院重庆401331）

摘要多模态虚假新闻检测的目标是判断新闻中图像和文本内容的真实性。现有虚假新闻检测方法主要存在

以下两种问题：（1)现有方法通常从整体语义角度融合图文特征，忽略了图文局部语义之间的联系，导致模型不能

有效捕捉图文局部语义差异性；（2）新闻的真实性往往基于可靠的证据和事实，现有方法仅依赖新闻本身的图像和

文本难以判断其真假。鉴于此，本研究提出了一种基于证据增强和局部语义交互的多模态虚假新闻检测模型。针

对新闻缺乏事实依据的问题，该模型引入证据文本并设计了一种证据增强方法，该方法通过证据文本筛选网络，剔

除证据文本中的余信息，并利用自注意力模块实现新闻文本的证据增强。同时，为了增强图像语义信息，该模型

先从图像块中提取局部特征，再通过双向GRU图像语义增强网络，捕获图像序列特征的上下文关系，并利用自注

意力模块将图像中嵌入的文字作为新闻背景信息融入图像特征。最后，针对局部语义信息交互问题，该模型使用

交叉注意力模块，学习证据增强后的文本特征和语义增强后的图像特征之间的互补信息，增强细粒度的局部语义

交互，实现多模态虚假新闻的精确检测。在Weibo数据集与MR2中英文数据集上的实验结果表明，本文提出的模

型性能优于基线方法，在各数据集的准确率上分别提高了0.8%、2.4%、4.9%。此外，在IKCEST第五届“一带一

路”国际大数据竞赛中，使用该模型指定的方案从全球3809个方案中取得第一的成绩，证实了该方案的有效性。

关键词多模态虚假新闻检测；证据增强；局部语义交互；证据文本筛选；图像语义增强

中图法分类号TP391D0I号10.11897/SP.J.1016.2025.000556

MultimodalFakeNewsDetectionBasedonEvidenceEnhancement

andLocalSemanticInteraction

ZHONGJiangGAOJin-PengHUANGJing-WangYANGYu-Ming

(CollegeofComputerScience,ChongqingUniversity,Chongqing401331)

AbstractT

Withthecontinuousdevelopmentofinformationtechnologyandthewidespreadpopularity

ofsocialmediainrecentyears,alargeamountofmultimodalinformationisgeneratedonthe

Interneteveryday,amongwhichfalsenewsiswidelyexposedandspreadthroughsocialnetworks.

Effectivefalsenewsdetectionmethodscanreducetheharmcausedbyfalsenewstosociety.

Currentmultimodalfalsenewsdetectionmethodscanobtainmorepriorsemanticknowledge

throughpre-trainingmodelsandusetheoverallsemantics