有序标签噪声的鲁棒估计与过滤方法研究.pdf

摘要

标签噪声是大型标注数据集中普遍存在的问题，它在一定程度上限制了模型的

泛化性能。在有序回归数据集中，标签表现为离散值，并且这些标签之间存在明确

的顺序关系。尽管分类和回归任务已经得到了广泛的研究，但仍缺乏专门用于处理

有序回归任务中标签噪声的算法。有序回归任务的标签既具有分类标签的特性，又

具有回归标签的特性，这使得现有的面向分类和回归任务的标签噪声过滤算法无法

完全满足有序标签噪声的处理需求。有序标签噪声复杂且特异，尤其在类标签分布

不均匀时，现有算法识别与过滤效果欠佳。处理此类噪声时，模型需学习输入输出

映射及标签序关系，增加了复杂性并使得泛化能力降低。传统噪声过滤算法多注重

过滤时的准确性，忽略了标签间的序关系，因此难以有效识别和处理有序标签噪声。

本文旨在研究有序回归任务中的标签噪声问题，具体内容如下：

（1）现有算法在识别和过滤有序标签噪声时存在准确性不足的问题，并且缺

乏泛化理论的指导。针对此问题，提出了标签含噪时回归模型的Akaike泛化误差估

计，在此基础上设计了面向有序回归任务的标签噪声过滤框架。此外，还提出一种

鲁棒的有序标签噪声估计方法，它采用基于中位数的融合策略以降低异常估计分量

的干扰。最后，此估计方法与所提框架结合形成了噪声鲁棒融合过滤（Robust

FusionFiltering，RFF）算法。在标准数据集和真实年龄估计数据集上均验证了算法

的有效性。实验结果表明，在有序回归任务中RFF算法性能优于其他分类和回归过

滤算法，能够适应不同类型的噪声数据，有效提升数据质量和模型泛化性能。

（2）在处理有序标签噪声时，模型必须同时理解输入与输出之间的映射关系

以及保持标签间的序关系。然而，现有的过滤算法在处理这类噪声时，往往未能充

分考虑标签间的序关系，导致其在面对有序标签噪声的复杂性和特异性时鲁棒性减

弱。特别是当类标签分布不均匀时，这种忽视序关系的做法进一步影响了算法的准

确性。为了解决这一问题，在理论层面上对噪声环境下的泛化误差界进行了深入探

讨，并在此基础上，提出了一系列针对有序标签噪声的过滤框架，旨在提高模型面

对此类噪声时的鲁棒性和准确性。此外，还提出了一种基于类间距离的鲁棒噪声估

计方法。该方法考虑了有序标签的不均匀性和基模型的可靠性。将该噪声估计方法

整合到所提出的基于类间距离的过滤（Inter-classDistance-basedFiltering，ICDF）算

法中。通过实验分析验证了ICDF在标签噪声识别和泛化性能提升方面的有效性。

I

在标准数据集和真实年龄估计数据集上的实验结果表明，在处理有序标签噪声方面，

ICDF算法优于其他的分类和回归过滤算法。

关键词：标签噪声过滤；有序回归；Akaike泛化误差估计；类间距离；鲁棒噪声估

计

II

ABSTRACT

Thepresenceoflabelnoiseinlargelabeleddatasetsisaprevalentissuethatinevitably

hampersthegeneralizationperformanceofmodelstosomeextent.Inthecaseofordinal

regressiondatasets,wherelabelsarerepresentedasdiscretevaluesandexhibitaclear

sequentialrelationship,thereexistsalackofalgorithmsspecificallytailoredtoaddresslabel

noiseinsuchtasks.Existingclassificationandregressionorientedlabelnoisefiltering

algorithmsareinadequateforhandlingorderedlabelnoiseinordinalregress