2025《基于BERT-DPCNN模型的谣言检测方法分析案例》5700字.docxVIP

PAGE51

PAGE51

基于BERT-DPCNN模型的谣言检测方法分析案例

目录

TOC\o1-3\h\u27142基于BERT-DPCNN模型的谣言检测方法分析案例 1

84651.1引言 1

70841.2问题描述 1

168561.3基于BERT-DPCNN模型的谣言检测方法 2

281091.1.1模型整体结构 2

115731.1.2数据预处理模块 3

23241.1.3数据嵌入模块 3

152021.1.4特征提取模块 6

220591.1.5谣言分类模块 8

98341.4文本与用户信息特征提取 8

293861.5实验及结果分析 10

147181.5.1数据集 10

308101.5.2实验设置 11

326541.5.3实验数据分析 12

1.1引言

在以往对微博谣言的研究中最先使用的方法是应用支持向量机构建分类器，直到2016年深度学习模型才被应用。之后，RNN、CNN、LSTM、Attention等深度学习方法被广泛应用。由于大多数微博谣言以文本方式吸引人注意力，所以研究者们最开始的注意力只在微博文本上，忽略了微博的其他特征。本文使用BETR-DPCNN深度学习模型进行谣言检测，并加入除文本特征外的用户信息特征。

1.2问题描述

通常情况下，微博谣言检测的目标是将疑似谣言的微博文本内容检测出来，并判断是否为谣言。以下是本文微博谣言检测的数字化定义：

D={(m1,n1,p1),(m2,n2,p2),(m3,n3,p3),……,(mi,ni,pi)}

其中D代表有标签的微博训练数据集合，(m1,n1,p1)代表1条数据记录的形式，i表示微博数据集合的大小，即D共包含i条记录，mi表示文本信息，ni表示特征信息，pi∈{0，1}表示文本信息的标签，即标记是否为谣言。对于本文中的微博谣言检测任务，同样被当作二分类模型。

1.3基于BERT-DPCNN模型的谣言检测方法

微博谣言检测主要针对的是微博文本特征。在文本内容的处理方面，一般的神经网络模型，如RNN、CNN、LSTM等都需要借助词袋模型先处理文本。但词袋模型在处理文本内容时，并不能联合文本前后之间的关系。又因为BERT可以直接处理中文内容和句子关系，所以本模型采用BERT方法。

1.1.1模型整体结构

图3-1BERT+DPCNN模型结构图

BERT-DPCNN模型主要实现对用户信息特征和文本内容信息特征的提取，区分出谣言与非谣言，达到微博谣言检测的目的。本模型采用BERT方法预处理数据，结合DPCNN方法提取特征，最后通过softmax层，实现对微博谣言的分类，0代表的预测结果为非谣言，1代表的预测结果为谣言。模型结构如图3-1所示。

按照该模型处理数据的步骤，可以将模型划分为4个模块。第一个模块是数据预处理模块，首先要做的是去除数据中不必要的信息，整合模型需要处理的特征，再进行下一步的处理。第二个模块是数据嵌入模块，将第一步处理完成的数据转变成模型可处理的向量。第三模块是特征提取模块，用来完成对微博数据特征的提取。最后一个模块是谣言的分类模块，判定输入的微博数据是否为谣言。下文将分别对本模型的各个模块进行详细的描述。

1.1.2数据预处理模块

谣言检测任务的第一步都是处理数据，因为文本内容数据大多繁杂，需要去除杂乱的部分。数据的处理，对于模型训练结果有至关重要的影响。处理的数据与模型契合度越高，得到的效果越理想。否则，即便是极好的模型，也不能达到期望目标，甚至更差。因此，在收集完数据后，首先分析数据内容，结合自己实验的具体需求，对数据进行针对性的处理。

如图3-2所示的一则微博谣言，其中包括用户信息，普通文字和特殊字符（如@，#话题#）。为处理这些杂糅的数据，本文应用了成熟且强大的被广泛用来处理字符串的工具——正则表达式。实验应用python语言编写，因此在处理杂糅数据时，只需调用re模块进行匹配微博数据的文本内容。结果如图3-3中的a所示。

图3-2微博内容图

由第二章所提到的BERT模型可知，数据在输入BERT模型之后会被进行分词处理。官方给出BERT分词模型的分词器有两个：一个是基础分词器，另一个是字分词器。其主要的分词方式是首先对句子进行粗略的划分得到一个临时的列表，之后对临时列表按最小单位--字来划分句子，得到最终的分词结果，这样得到的字典更清晰。分词过程中，在句子的开头标记好[cls]，该句子的结尾加上[sep]，这样可以使句子更好的进行区分。分词的大体流程如图3-3中b所示。

图3-3数据的清理与划分

1.1.3数据嵌入模块

数据嵌入模块包括三层，分别为词嵌入层、句子嵌入