简单且有效的弱监督中文文本分类算法.pdfVIP

1922025，61（4）ComputerEngineeringandApplications计算机工程与应用

简单且有效的弱监督中文文本分类算法

陈中涛，周亚同+

河北工业大学电子信息工程学院，天津300401

+通信作者E-mail：zyt@

摘要：目前基于种子词的弱监督文本分类算法大多需要从数据集中搜索所有种子词并以此扩展类别词典，出现频

率较低的种子词的类别识别能力也较低。因此设计了一个简单且有效的弱监督中文文本分类算法（simpleand

effectiveweaklysupervisedChinesetextclassification，SEWClass）。该方法利用预训练语言模型初始权重生成对

文本的抽象理解，并以此为基础继续生成抽象约束条件和具象约束条件，以构建初次训练的伪标签数据；根据类别

数量联合构建降维模型与分类器，以适应弱监督文本分类需要预先指定类别和在自训练过程中需要增加训练数据

的特点；通过两种约束条件，伪标签数据拥有较高精确率，并在自训练过程中仅训练降维模型以提升召回率和算法

效率。SEWClass对每个类别只需要一个种子词，如类别名称，即可完成分类任务，且SEWClass的性能与种子词是

否出现在数据集中无关。SEWClass在THUCNews与toutiao两个中文数据集上的性能均远高于其他弱监督算法。

关键词：弱监督；文本分类；自训练；种子词

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2310-0009

SimpleandEffectiveWeaklySupervisedChineseTextClassificationAlgorithm

CHENZhongtao,ZHOUYatong+

SchoolofElectronicandInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China

Abstract：Mostofthecurrentweaklysupervisedtextclassificationalgorithmsbasedonseedwordsneedtosearchall

seedwordsfromthedatasetandextendthecategorydictionaryinthisway,andthecategoryrecognitionabilityofseed

wordsthatoccurlessfrequentlyisalsolower.Therefore,asimpleandeffectiveweaklysupervisedChinesetextclassifi-

cation(SEWClass)algorithmisdesigned,whichusestheinitialweightsofthepre-trainedlanguagemodeltogenerate

anabstractunderstandingofthetextandcontinuestogenerateabstractconstraintsandfigurativeconstraintsbasedonthis

toconstructtheinitialtraining.Basedonthenumberofcategories,adimensionalityreductionmodelandaclassifierare

jointlyconstructedtoadapttothefactthattheweaklysupervisedtextclassificationneedstobespecifiedinadvance,and

needstoincreasetrainingdataduringself-training.Withthetwoconstraints,thepseudo