基于元学习的标签噪声鲁棒学习研究综述.docVIP

基于元学习的标签噪声鲁棒学习研究综述

一、标签噪声鲁棒学习的研究背景与核心挑战

在深度学习大规模数据集构建过程中，标注错误是难以避免的普遍问题。网络爬虫获取的开源数据集通常存在标签匹配错误，众包标注场景下标注者专业能力差异、主观判断偏差会导致大量标注错误，医学、金融等专业领域标注成本极高，很难获得完全准确的标注结果。统计数据显示，主流开源图像数据集ImageNet的标签错误率约为5.8%，而医疗影像、文本分类等垂直领域数据集的标签噪声比例甚至可达20%-30%。深度学习模型具有强大的拟合能力，当训练数据中存在标签噪声时，模型会逐渐拟合错误标签的统计特征，最终出现泛化性能严重下降的问题，这一现象被称为“过拟合噪声标签”。

传统标签噪声鲁棒学习方法主要分为四类：第一类是基于标签校正的方法，通过统计标签共现概率、置信度筛选等方式识别并修正错误标签，但这类方法依赖对噪声分布的先验假设，当实际场景下噪声分布通常是未知且非均匀的，校正精度会随着训练过程中噪声分布动态变化时，标签校正的误差会持续累积。第二类是基于鲁棒损失函数的方法，通过设计对错误标签不敏感的损失函数，比如MAE损失、广义交叉熵损失等，但这类方法在高噪声比例场景下会出现模型收敛速度慢、特征提取能力下降的问题，无法平衡对干净标签的拟合能力和对噪声标签的鲁棒性。第三类是基于样本重加权的方法，通过为每个样本分配不同的训练权重，降低错误标