具有记忆的生成重放持续学习多语言情感分析模型.pdfVIP

信息与电脑

人工智能与大数据InformationComputer2025年第12期

具有记忆的生成重放持续学习多语言情感分析模型

黄志强

（安徽建筑大学电子与信息工程学院，安徽合肥230601）

摘 要：随着全球化加速，情感分析任务大多面向多种不同语言数据集，现有语言模型在处理新语种任务时会因

灾难性遗忘导致性能下降。针对模型训练过程中出现的灾难性遗忘问题，文章引入了持续学习方法，构建了生成重放模

型mBERT-GR，使模型对旧语言任务具有稳定性，且能对因隐私等问题导致不可用的旧任务数据进行预测。实验表明，

mBERT-GR模型在法语和英语任务中的性能均有显著提升。

关键词：多语言情感分析；持续学习；灾难性遗忘；语言模型

中图分类号：TP391.1   文献标识码：A   文章编号：1003-9767（2025）12-020-04

MultilingualSentimentAnalysisModelwithMemory-BasedGenerativeReplay

forContinualLearning

HUANGZhiqiang

(SchoolofElectronicandInformationEngineering,AnhuiJianzhuUniversity,HefeiAnhui230601,China)

Abstract:Withtheaccelerationofglobalization,sentimentanalysistasksmostlytargetmultiplelanguagedatasets,and

existinglanguagemodelsmayexperienceperformancedegradationduetocatastrophicforgettingwhendealingwithnew

languagetasks.Inresponsetothecatastrophicforgettingproblemthatoccursduringmodeltraining,thepaperintroduces

acontinuouslearningmethodtoconstructagenerativereplaymodelmBERT-GR,whichmakesthemodelstableforold

languagetasksandcanpredictoldtaskdatathatisunavailableduetoprivacyissues.TheexperimentshowsthatthemBERT-

GRmodelhassignificantlyimprovedperformanceinbothFrenchandEnglishtasks.

Keywords:multilingualsentimentanalysis;continuallearning;catastrophicforgetting;languagemodel

0 引 言言理解的广义自回归预训练（GeneralizedAutoRegressive

随着全球化进程的推进，互联网多语言数据特征日PretrainingforLanguageUnderstanding，XLNet）等预训练

益显著。多语言情感分析技术因其在国际舆情监控、网语言模型已被应用于多语言情感分析，通过自监督学习

[1]

络安全防护等领域的重要应用价值而成为研究热点。从海量