基于BERT的双特征融合注意力的方面情感分析模型.pdfVIP

计算机科学与探索1673-9418/2024/18(01)-0205-12

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2210012

基于BERT的双特征融合注意力的方面情感分析模型

11,2+1,2

李锦，夏鸿斌，刘渊

1.江南大学人工智能与计算机学院，江苏无锡214122

2.江苏省媒体设计与软件技术重点实验室，江苏无锡214122

+通信作者E-mail:hbxia@jiangnan.edu.cn

摘要：方面情感分析旨在预测句子或文档中一个特定方面的情感极性，现阶段大部分的研究都是使用注意

力机制对上下文进行建模。然而，目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时，

大多未根据不同的语境背景考虑上下文信息，导致建模后的特征缺乏上下文的语境信息。同时，方面词的重

要性未能得到充分的重视而影响模型整体分类的性能。针对上述问题，提出双特征融合注意力方面情感分析

模型（DFLGA-BERT），分别设计了局部与全局的特征抽取模块，充分捕捉方面词和上下文的语义关联。并将

一种改进的“准”注意力添加到DFLGA-BERT的全局特征抽取器中，使模型学习在注意力的融合中使用减性注

意力以削弱噪声产生的负面影响。基于条件层规泛化（CLN）设计了局部特征和全局特征的特征融合结构来

更好地融合局部和全局特征。在SentiHood和SemEval2014Task4数据集上进行了实验，实验结果表明，与基

线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升。

关键词：情感分析；自然语言理解；准注意力机制；上下文注意

文献标志码：A中图分类号：TP391

DualFeaturesLocal-GlobalAttentionModelwithBERTforAspectSentimentAnalysis

11,2+1,2

LIJin,XIAHongbin,LIUYuan

1.SchoolofArtificialIntelligenceandComputer,JiangnanUniversity,Wuxi,Jiangsu214122,China

2.JiangsuKeyLaboratoryofMediaDesignandSoftwareTechnology,Wuxi,Jiangsu214122,China

Abstract:Aspect-basedsentimentanalysisaimstopredictthesentimentpolarityofaspecificaspectinasentence

ordocument.Mostofrecentresearchusesattentionmechanismtomodelthecontext.Butthereisaprobleminthat

thecontextinformationneedstobeconsideredaccordingtodifferentcontextswhentheBERTmodelisusedto

calculatethedependenciesbetweenrepresentationstoextractfeaturesbysentimentclassificationmodels,which

leadstothelackofcontextualknowledgeofthemodelledfeatures.Andtheimportanceofaspectwordsisnotgiven

moreattention,affectingtheoverallclassificationperformanceofthemodel.To