融合图文多粒度情感特征的多模态谣言检测方法.pdfVIP

计算机科学与探索1673-9418/2025/19(04)-1021-15

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2406053

融合图文多粒度情感特征的多模态谣言检测方法

121+

刘先博，向澳，杜彦辉

1.中国人民公安大学信息网络安全学院，北京100038

2.武汉大学计算机学院，武汉430072

+通信作者E-mail:duyanhui@

摘要：涉及公共安全、灾害事故等群体性事件谣言往往在文字或图像中含有丰富的情感特征信息，极易调动网民

情绪反应，诱导其点赞、评论和转发。然而，现有的多模态谣言检测方法对于多模态数据中蕴含的情感特征缺乏有

效的提取方法，并且在特征融合过程中没有考虑模态间的关系，存在一定冗余特征的问题。为探究跨模态情感特征

在谣言检测中的作用，提出一种融合图文多粒度情感特征的多模态谣言检测方法。该方法在不依赖评论、传播模式

等社会信息的前提下，将图文多粒度情感特征融入到多模态谣言检测方法中，利用基于交互注意力机制的跨模态多

粒度情感特征融合方法充分融合多媒体信息的深层特征，并在Weibo和Twitter两个公开数据集上进行对比实验和

消融实验。结果表明，该方法与现有谣言检测方法相比，在两个数据集中的谣言检测准确率分别提升到0.912和

0.839，在F1值等多个指标上展现了优异性能，有效提升了谣言检测性能和模型的可解释性，一定程度上能够辅助公

安机关开展群体性事件的谣言处置工作，为基层警务实战提供技术支持。

关键词：谣言检测；情感分析；多模态融合；注意力机制；群体性事件

文献标志码：A中图分类号：TP391

MultimodalRumorDetectionMethodBasedonMulti-granularityEmotionalFea-

turesofImage-Text

121+

LIUXianbo,XIANGAo,DUYanhui

1.SchoolofInformationandCyberSecurity,People’sPublicSecurityUniversityofChina,Beijing100038,China

2.SchoolofComputerScience,WuhanUniversity,Wuhan430072,China

Abstract:Rumorsinvolvingpublicsafety,disasters,andothermassincidentsoftencontainrichemotionalfeaturesintext

orimages,whicheasilymobilizenetizens’emotionalresponses,inducingthemtolike,comment,andshare.However,

existingmultimodalrumordetectionmethodslackeffectiveextractiontechniquesfortheemotionalfeaturescontainedin

multimodaldataandfailtoconsidertheinterrelationshipbetweenmodalitiesduringfeaturefusion,resultinginredundant

andlessaccuratefeaturerepresentations.Toexploretheroleofcross-modalemotionalfeaturesinrumordetection,amulti-

modalrumordetectionmethodthatintegratesmulti-granularityemotionalfeaturesofimage-textispropos