前缀标签嵌入的参数高效微调与预测分数引导Mixup的文本分类方法.pdfVIP

第42卷第2期微电子学与计算机Vol.42No.2

2025年2月MICROELECTRONICSCOMPUTERFebruary2025

引用格式：庞宇宏，线岩团，相艳，等．前缀标签嵌入的参数高效微调与预测分数引导Mixup的文本分类方法[J].微电子学与计

算机，2025，42（2）：31-38．

PANGYH，XIANYT，XIANGY，etal.Efficientparameterfine-tuningofprefixlabelembeddingandpredictionscore-guided

Mixuptextclassificationmethod[J].MicroelectronicsComputer，2025，42（2）：31-38.

DOI：10.19304/J.ISSN1000-7180.2024.0155

前缀标签嵌入的参数高效微调与预测分数引导Mixup的文本

分类方法

1,21,21,21,2

庞宇宏，线岩团，相艳，黄于欣

（1昆明理工大学信息工程与自动化学院,云南昆明650500；

2昆明理工大学云南省人工智能重点实验室,云南昆明650500）

摘要：文本分类旨在根据文本的特征，将其划分到一个或多个类别中。目前，在面对文本对抗攻击时，传统的深

度学习模型和微调预训练语言模型往往面临着过拟合问题。由于训练数据的特定性，使得模型在处理与训练数据

分布不同的对抗性样本时，无法充分泛化，进而降低了模型在对抗性攻击场景中的鲁棒性。一些参数高效的微调

方法采用轻量级的模型结构，由于相对较低的表达能力使得模型无法有效捕捉对抗性攻击的复杂特征，导致其鲁

棒性差。此外，在模型分类过程中，无论是用于分类的特征向量还是起到引导作用的前缀向量，对分类结果的影响

机制尚未得到清晰的认识导致模型的可解释性差。本文提出一个新的方法，将前缀标签嵌入与预训练语言模型融

合，在分类层面引入标签与文本相似度的打分机制，通过预测分数引导下的Mixup，有效地挖掘与分类密切相关的

特征，缓解过拟合问题，提升模型的鲁棒性。同时结合多头机制，使模型获得更加丰富的特征表达，提升模型可解

释性。实验表明，该框架在保持参数高效微调前提下提高了针对4种不同类型的文本攻击的鲁棒性，同时保持了

干净文本的可比准确性。

关键词：文本分类；鲁棒性；预训练语言模型；前缀标签嵌入；Mixup数据增强；参数高效微调

中图分类号：TP391文献标识码：A文章编号：1000-7180（2025）02-0031-08

Efficientparameterfine-tuningofprefixlabelembeddingandprediction

score-guidedMixuptextclassificationmethod

PANGYuhong1,2，XIANYantuan1,2，XIANGYan1,2，HUANGYuxin1,2

（1FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,

Kunming650500,China；

2Yunna