融合多模态与数据增强的虚假信息检测方法研究.pdfVIP

融合多模态与数据增强的虚假信息检测方法研究

摘要

当前正处于全媒体向智媒体变迁的关键时期，一旦有突发事件发生，几乎全民参与，

在传播过程中不同利益持有者为各自利益相互博弈，在这个过程中信息不断被放大、强

化、改编、再生，虚假信息频繁发生。虚假信息的存在不仅威胁网络空间安全，还可能

成为信息操纵的工具，2016年美国总统大选便是一个典型的案例。因此，及早检测虚假

信息以阻止其肆虐传播具有重要而有益的意义。尽管现有研究针对虚假信息做了大量工

1

作，但是信息演化瞬息万变，本文针对虚假信息产生如下思考：（）虚假信息的产生是

否具有相关的生成情境？（2）真实新闻内容与虚假新闻内容之间是否存在差异，虚假信

息内容中是否蕴含特定线索？（3）生成式人工智能的发展降低了虚假信息生成的门槛，

增加了虚假信息检测的难度，如何检测生成式人工智能视域下的虚假信息？

针对上述问题，本文分别从虚假信息生成情境、多模态证据融合、用户行为三个方

1

面展开研究，具体内容如下：（）本文研究虚假信息生成环境，提出了一种融合新闻环

境增强的假新闻检测方法来探索新闻环境。该模型中，首先利用拉谱拉斯谱聚类完成领

域内和领域间的话题情境聚类，依据领域内和领域间的话题分布，构建四个话题情境，

用于捕捉话题的热度和新颖度，并融合新闻文本、风格特征、情感等特征设计一个情境

感知模型，用于实现虚假信息检测。最后在中文数据集Ch-9和英文数据集En-3的实验

验证本文方法，结果显示话题情境有利于虚假信息检测，尤其是证据稀少的情境下，话

2

题情境可以起到证据增强的作用。（）本文研究真假信息内容，发现真信息中的图与内

容在语义上是一致的，而虚假信息内容与配图在语义上可能存在差异，遗憾的是不同模

态数据存在语义融合困难的问题，本文针对这一问题，提出一种提出了一种跨模态图语

义增强模型，以缓解语义鸿沟；通过检测局部语义差异的方式，以捕捉模态间的细粒度

语义偏离，提升虚假新闻检测的性能与解释性。（3）为了应对生成式人工智能环境下虚

假信息检测困难的问题，本文从用户的角度出发，量化用户交互行为，并将量化后用户

行为、信息主题等证据融合到图神经网络中，构建三维证据图，用于削弱AIGC对虚假

信息检测带来的负面影响。

关键词：虚假信息；信息情境；语义鸿沟；图文模态；用户行为；图神经网络

4

临沂大学硕士学位论文

Abstract

Currentlyinthecriticalperiodofall-mediatosmartmediachange,oncethereisasudden

eventsex,almostallthepeopleinvolved,intheprocessofdisseminationofdifferentinterest

holdersfortheirowninterestsineachothersgame,intheprocessofinformationisconstantly

beingenlarged,strengthened,adapted,regeneration,falseinformationoccursfrequently.The

existenceoffalseinformationnotonlythreatensthesecurityofcyberspace,butalsomaybecomea

toolforinformationmanipulation,andthe2016U.S.presidentialelectionisatypicalcase.

Therefore,earlydetectionofdisinformationtostopitsrampantspreadisofgreatim