中文短文本情感分类：融入位置感知强化的Transformer-TextCNN模型研究.pdfVIP

2162025，61（11）ComputerEngineeringandApplications计算机工程与应用

中文短文本情感分类：融入位置感知强化的Transformer-TextCNN模型

研究

+

李浩君，王耀东，汪旭辉

浙江工业大学教育科学与技术学院，杭州310023

+通信作者E-mail：zgdlhj@

摘要：针对当前中文短文本情感分类模型文本位置信息与关键特征获取不足的问题，提出了一种融入位置感知强

化的Transformer-TextCNN情感分类模型。利用BERT可学习绝对位置编码与正弦位置编码强化模型的位置感知能

力，融合Transformer的全局上下文理解能力与TextCNN的局部特征捕捉能力，分别提取中文短文本全局特征与局

部特征，构建位置感知强化与特征协同的情感特征输出服务，实现中文短文本情感准确分类。实验结果表明，该模

型在视频弹幕数据集上的准确率达到90.23%，在SMP2020数据集上的准确率达到87.38%。相较于最优的基线模

型，准确率在视频弹幕数据集和SMP2020数据集上分别提高了1.98和0.44个百分点，在中文短文本情感分类任务中

取得更好的分类效果。

关键词：文本情感分类；BERT；Transformer；textCNN；位置编码

文献标志码：A中图分类号：TP391.1doi：10.3778/j.issn.1002-8331.2403-0082

ChineseShortTextSentimentClassification:ResearchonTransformer-TextCNNModelwith

Location-AwareEnhancement

+

LIHaojun,WANGYaodong,WANGXuhui

CollegeofEducationalScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou310023,China

Abstract：Aimingattheproblemofinsufficientacquisitionoftextlocationinformationandkeyfeaturesinthecurrent

Chineseshorttextsentimentclassificationmodel,aTransformer-TextCNNsentimentclassificationmodelintegratedwith

location-awareenhancementisproposed.Firstly,BERT’slearnableabsolutepositionencodingandsinusoidalposition

codingareusedtoenhancethepositionperceptionabilityofthemodel.Then,theglobalcontextunderstandingabilityof

TransformerandthelocalfeaturecaptureabilityofTextCNNarecombinedtoextracttheglobalandlocalfeaturesofChi-

neseshorttextrespectively.Finally,theemotionalfeatureoutputserviceofpositionperceptionreinforcementandfeature

collaborationisconstructedtorealizetheaccurateclassificationofChineseshorttextemotion.Theexperimentalresults

showthattheaccuracyofthemodelonthevideobarragedatasetreaches90.23%,andtheaccuracyontheSMP2020data

setreaches87.38%.Comparedw