CN115481249B 基于Gate-Mixup数据增强的知识蒸馏化工文本分类方法及装置 （淮阴工学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115481249B(45)授权公告日2025.07.01

(21)申请号202211156215.3

(22)申请日2022.09.22

(65)同一申请的已公布的文献号申请公布号CN115481249A

(43)申请公布日2022.12.16

(73)专利权人淮阴工学院

地址223003江苏省淮安市经济技术开发

区枚乘东路1号

(72)发明人高尚兵张骏强苏睿王媛媛

张海艳马甲林张正伟朱全银蔡利荣陈晓兵

(51)Int.CI.

GO6F16/353(2025.01)GO6N3/042(2023.01)

GO6N3/096(2023.01)GO6N3/0455(2023.01)

GO6N3/0442(2023.01)

(56)对比文件

CN114676256A,2022.06.28CN114841148A,2022.08.02审查员何诚

(74)专利代理机构南京苏高专利商标事务所

(普通合伙)32204专利代理师柏尚春

权利要求书3页说明书6页附图1页

(54)发明名称

基于Gate-Mixup数据增强的知识蒸馏化工文本分类方法及装置

(57)摘要

CN115481249B本发明公开一种基于Gate-Mixup数据增强的知识蒸馏化工文本分类方法及装置，首先同时对图神经网络教师模型以及Transformer学生模型进行初始训练；然后进行一阶段蒸馏训练，通过指标函数与门控单元对教师模型输出进行筛选，满足预设条件，则直接作为logits输入蒸馏损失函数指导学生模型，否则对文本表示进行数据增强，最后将输出残差叠加输入蒸馏损失函数指导学生模型训练；将教师模型与学生模型角色进行对调作为二阶段蒸馏训练，循环执行上述一阶段和二阶段蒸馏训练，最终获得蒸馏好的学生模型；实际应用时，将化工文本样本输入学生模型，获得预测输出文本类别。本发明通过构建的

CN115481249B

文本输入

图神经网络教师模型

TeacherClassifier

DataAugmentation

MixupDropout

相互学习

Mixup

DataAugmentation

分类结果

StudentClassifier

Transfomer

学生模型

文本输入

CN115481249B权利要求书1/3页

2

1.一种基于Gate-Mixup数据增强的知识蒸馏化工文本分类方法，其特征在于，包括以下步骤：

(1)输入原始化工产品语料集，对语料集中的化工产品文本样本进行数据清洗以及预处理；

(2)基于从原始化工产品语料集中按照预设比例随机抽取的各化工产品样本文本，以及各化工产品样本文本分别对应预设分类下的相应真实类别，以化工产品样本文本为输入，化工产品样本文本所对应预设分类下相应类别为输出，同时对图神经网络教师模型以及Transformer学生模型进行初始训练，获得可以加载训练得到的初始权重的教师模型与学生模型；

(3)基于原始化工产品语料集中的化工产品样本文本，进行一阶段相互学习蒸馏知识训练，将样本文本按照预设批次数量输入加载了初始权重的教师模型，教师模型输出对应文本表示R。将文本表示R输入教师分类器中输出获得文本样本的预测结果P;

(4)通过预设指标函数对预测结果P进行指标评分，将获得的分数f?输入门控单元中，根据门控单元的预设阈值函数进行筛选，若阈值函数输出非零，则将教师模型输出的该文本表示R!作为教师模型logits的有效输出，通过第一蒸馏损失函数对学生模型进行蒸馏训练指导；否则对教师模型输出的文本表示RT进行数据增强，将文本表示R与根据预设的dropout参数进行dropout操作后得到的教师模型输出的文本表示R进行Mixup操作，获得数据增强后的文本表示RBA;

(5)将文本表示RBA与原始文本表示R!进行残差叠加作为教师模型输出的logits,通过预设第一蒸馏损失函数对学生模型进行蒸馏训练指导；

(6)基于原始化工产品语料集中的化工产品样本文本，进行二阶段相互学习知识蒸馏训练，将样本文本按照预设批次数量输入加载了初始权重的学生模型，学生模型输出对应文本表示R,