融合网络剪枝和动态扩展的终身文本分类方法.pdfVIP

小型微型计算机系统2025年6月第6期

DOI:10.20009/ki.21-1106/TP.2024-0172

JournalofChineseComputerSystemsVol.46No.62025

融合网络剪枝和动态扩展的终身文本分类方法

张泽,王炯,王晓艺²,聂凯峰,刘

刘杰23,周建设2

1（首都师范大学信息工程学院，北京100048）

2（首都师范大学中国语言智能研究中心，北京100048）

3（北方工业大学信息学院，北京100144）

E-mail:liujxxxy@126.com

摘要：随着互联网技术的发展，产生了大量的各种背景下的文本信息，包括新闻资料，科学文献等等，这些文本信息所包含的

内容并不统一，对于神经网络而言，不断地增加新领域的训练数据必然会导致对旧信息的灾难遗忘.因此在实际应用中，训练出

可以终身学习的文本分类器具有很高的应用价值，为此，该文提出了一种基于网络剪枝和动态扩展策略的终身文本分类方法，

适用于知识背景不断增加的文本分类场景.具体而言，该文将网络剪枝、参数正则化更新和网络扩展相结合，保证神经网络可以

在不遗忘旧任务知识的前提下更有效的学习新任务，通过使用不确定正则化参数更新策略防止旧领域信息的遗忘，实现任务之

间的知识迁移.在5个流行的文本分类数据集上进行终身学习的实验设置下进行验证，实验结果表明本文的方法与BERT预训

练模型相比高出约10%，并且均优于其他终身学习的方法，

关键词：文本分类；终身学习；动态网络扩展；正则化更新

中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)06-1319-07

LifetimeTextClassificationMethodIntegratingNetworkPruningandDynamic

ExpansionStrategies

ZHANGZe,WANGJiong,WANGXiaoyi,NIEKaifeng,LIUJie,ZHOUJianshe?

1(SchoolofInformationEngineering,CapitalNormalUniversity,Bejing10048,China)

2(ChinaLanguageIntlligenceResearchCenter,CapitalNormalUniversity,Bejing100048,China)

3(SchoolofInformationScience,NorthChinaUniversityofTechnology,Beijing100144,China)

Abstract:Withthedevelopmentofinternettechnology,alargeamountoftextinformationfromvariousbackgroundsisgenerated,in-

cludingnewsdata,scientificliterature,andsoon.Thecontentcontainedinthesetextinformationisnotuniform.Forneuralnetworks,

continuallyincreasingtrainingdatafromnewdomainsinevitablyleadstocatastrophicforgettingofoldinformation.Therefore,inprac-

ticalapplications,trainingatextclassifierthatcanlearnlifelonghashighpracticalvalue.Tothisend,thispaperproposesalifelongtext

classification