基于标签平滑的模型泛化研究综述.docVIP

基于标签平滑的模型泛化研究综述

一、标签平滑的核心原理与基础机制

标签平滑（LabelSmoothing）作为一种正则化技术，其核心思想是通过对传统独热（One-Hot）标签进行软化处理，降低模型对训练样本标签的过度置信，从而缓解过拟合现象，提升模型在未知数据上的泛化能力。在标准的分类任务训练流程中，传统的标签表示将目标类别对应的概率值设为1，其余类别设为0，这种硬标签的设定会促使模型在训练过程中不断最大化目标类别的对数似然，容易导致模型学习到训练数据中的噪声和特异特征，甚至出现对训练样本的记忆化现象。

标签平滑的数学实现通常是在硬标签的基础上引入一个平滑因子ε，将原始的目标标签y修正为：y_smoothed=(1-ε)*y+ε/K，其中K为分类任务的类别总数。经过平滑处理后，目标类别的标签值变为1-ε，其余非目标类别的标签值均为ε/(K-1)（当ε较小时可近似为ε/K）。这种软化处理相当于在损失函数中引入了对模型预测分布的约束，避免模型将全部概率权重集中在单一目标类别上，本质上是通过向标签中注入少量噪声，降低模型对训练标签的拟合精度，从而迫使模型学习更具鲁棒性的通用特征。

从损失函数的角度分析，标签平滑相当于对交叉熵损失进行了修正。传统交叉熵损失仅关注目标类别的预测概率，而经过标签平滑后的损失函数会同时考虑非目标类别的预测分布，其数学形式可表示为：L_smo