一种融合BERT和注意力机制的新闻文本分类方法.pdfVIP

第49卷第1期江西师范大学学报（自然科学版）Vol.49No.1

2025年1月JournalofJiangxiNormalUniversity(NaturalScienceEdition)Jan.2025

熊亿坤，付雪峰，盛黄煜，等.一种融合BERT和注意力机制的新闻文本分类方法［J].江西师范大学学报（自然科学版）,2025，

49(1):49-57.

XIONGYikun,FUXuefeng,SHENGHuangyu,etal.ThenewstextclassificationintegratedBERTandattentionmechanism[J].Journal

ofJiangxiNormalUniversity(NaturalScienceEdition),2025,49(1):49-57.

文章编号：1000-5862(2025)01-0049-09

一种融合BERT和注意力机制的新闻文本分类方法

熊亿坤，付雪峰*，盛黄煜，胡昊，汪涛涛

（南昌工程学院信息工程学院，江西南昌330099）

摘要：文本分类任务是在自然语言处理中的一项重要任务，旨在将给定的文本分配到预定义的不同类别

或标签中.针对近年来备受关注的注意力机制和一种基于Transformer结构的预训练模型BERT,该文提

出一种基于BERT-TextRCNN-Attention混合神经网络的新闻文本分类方法.为了增强文本的特征表示和

模型的分类效果，该分类方法首先使用BERT预训练模型对文本进行预训练,并作为TextRCNN的词向量

嵌入,其次采用TextRCNN模型和注意力机制进一步对文本的上下文特征和局部关键特征进行提取，再

对新闻文本进行分类；最后在THUCNews数据集上进行对比实验.实验结果表明：该文提出方法在准确率

和F值上比Transformer、TextRNN、TextCNN、DPCNN等文本分类模型均有所提升.

关键词：BERT模型；基于卷积神经网络的文本分类模型；注意力机制；新闻文本分类

中图分类号：TP311文献标志码：AD0I:10.16357/ki.issn1000-5862.2025.01.07

0引言CNN)[3]、图卷积网络（graphconvolutionalnetworks,

GCN）[4]、长短期记忆网络（longshort-termmemory,

随着互联网和大数据的迅猛发展，文本数据的LSTM)[5]、双向长短期记忆网络（bi-directionallong

short-termmemory,BiLSTM)[6]和

数量呈现指数级增长，从而使得文本分类在分析和

FastText[8]模型等.但这些单一的神经网络模型在文

理解海量文本信息方面扮演着至关重要的角色.文

本分类领域中的准确率表现不佳.为提高文本分类

本分类任务是在自然语言处理（naturallanguagepro-

的准确率，本文提出了一种基于BERT-TextRCNN-

cessing,NLP）［1领域中的一项关键任务,其目标是Attention的混合神经网络方法（BRCA）对中文新闻

将给定的文本分配到预先定义的不同类别或标签文本进行分类.

中.文本分类广泛应用于多个领域，包括社交媒体BRCA方法通过BERT

分析、情感分析、新闻分类、垃圾邮件过滤等.通过representationsfromtransformers,BERT)[9]预训练模

对文本进行分类能够从海量的文本数据中