融合预训练和双级元蒸馏的医学短文本分类方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（8）117

融合预训练和双级元蒸馏的医学短文本分类方法

1，21+

廖列法，姜炫至

1.江西理工大学信息工程学院，南昌341000

2.江西现代职业技术学院，南昌330095

+通信作者E-mail：848266809@

摘要：为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别，以及使用传统小

模型由于自身限制难以做到足够的准确度的问题，提出了一种融合预训练和元蒸馏的文本分类模型PTMD（fusion

ofpre-trainingandmetadistillationmodel）。PTMD针对医学文本的多标签问题，通过对比训练对RoBERTa预训

练方法进行微调，再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学

习和助教的思想，通过教学实验和双级模型等方法，提高模型的教学水平，最终在减少训练成本的基础上得到一个

高性能医学文本分类模型。实验结果表明，教师模型在CHIP2019评测三数据集上的F1值达到了85.47%，同时学生

模型在F1值损失1.45个百分点的情况下，将模型规模缩小到教师模型的近1/6，效果高于大多数传统预训练模型和

知识蒸馏模型，证明了该模型具有良好的实用价值。

关键词：文本分类；预训练模型；知识蒸馏

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2310-0176

MedicalShortTextClassificationMethodCombiningPre-TrainingandMetadistillation

LIAOLiefa1，2,JIANGXuanzhi1+

1.SchoolofInformationEngineering,JiangxiUniversityofScienceandTechnology,Nanchang341000,China

2.JiangxiModernPolytechnicCollege,Nanchang330095,China

Abstract：Inordertosolvetheproblemsofslowclassificationprocessingspeedofpre-trainedmodels,highcomputational

powerrequirementsforhardware,thedifficultyindistinguishingsmallsamplecategories,andtheinabilityoftraditional

smallmodelstoachievesufficientaccuracyduetotheirownlimitations,atextclassificationmodelnamedPTMD(fusion

ofpre-trainingandmetadistillationmodel)thatintegratespre-trainingandmetadistillationisproposed.PTMDfocuses

onthemultilabelproblemofmedicaltexts,fine-tunestheRoBERTApre-trainingmethodthroughcomparativetraining,

andfullyobtainssemanticinformationthroughbidirectionalbuilt-inattentionsimpleloopunits.Finally,basedonthe

traditionaldistillationmodel,theideaofmetalearningisintegrated.Throughteachingexperimentsandothermethods,the

teachinglevelofthemodelisimproved,knowledgetransferiscompl