基于标签平滑的模型泛化研究综述.docVIP

基于标签平滑的模型泛化研究综述

标签平滑的核心原理与数学基础

标签平滑（LabelSmoothing）作为一种正则化技术，其核心设计初衷是缓解深度模型在训练过程中对硬标签的过度置信问题。传统监督学习任务中，数据集通常采用one-hot编码的硬标签形式，即对于类别数为K的分类任务，样本对应真实类别的标签值为1，其余类别为0。这种标签表示方式会驱使模型在训练时不断最大化真实类别的预测概率，当模型容量足够大时，极易出现对训练样本噪声的拟合，甚至将标注错误的样本特征学习为类别判别依据，最终导致泛化性能下降。

标签平滑通过对硬标签进行软化处理实现正则化效果，其数学表达式可表示为：$$y_{smooth}=(1-\alpha)\cdoty_{hard}+\alpha\cdotu$$其中$y_{hard}$为原始one-hot硬标签，$\alpha\in[0,1]$为平滑系数，$u$为先验分布，通常采用均匀分布即$u=\frac{1}{K}$，此时每个非真实类别的标签值被调整为$\frac{\alpha}{K}$，真实类别标签值为$1-\alpha+\frac{\alpha}{K}$。当$\alpha=0$时，标签平滑退化为传统硬标签训练；当$\alpha$过大时，标签会损失过多类别信息，导致模型难以学习到有效判别特征。从信息论视角看，标签平滑本质上是在损失