在线倾斜经验风险最小化的好处： 异常检测和鲁棒回归的案例研究.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

在线倾斜经验风险最小化的好处：

异常检测和鲁棒回归的案例研究

YiğitE.Yıldırım,SametDemir,ZaferDoğan

MLIPResearchGroup,KUISAICenterDepartmentofEEE,KoçUniversity

İstanbul,Turkey

ABSTRACT1.介绍

本经验风险最小化（ERM）是监督学习的基础框架，但经验风险最小化（ERM）是大多数现代监督学习

译主要优化平均情况下的性能，经常忽视公平性和鲁棒算法的基础原理。[1]。ERM目标通过最小化个样

中性的考虑。倾斜经验风险最小化（TERM）通过引入本的平均损失来选择模型参数：

1一个指数倾斜超参数来平衡平均情况下的准确性与

(1)

v

1最坏情况下的公平性和鲁棒性。然而，在在线或流数

4据设置中，数据一次一个样本地到达，经典TERM目其中，表示第个样本的损失。

1

5标退化为标准ERM，失去倾斜敏感度。我们通过提ERM享有优雅的统计保证，并且在训练数据忠

1

9.出一种移除经典目标中的对数的在线TERM形式来实代表测试分布时提供了强大的预测性能。然而，由

0解决这一局限，保留倾斜效果而无需额外的计算或内于设计原因，ERM侧重于均值性能。具体来说，每个

5存开销。该形式允许由控制的连续权衡，平滑地在示例都平等地贡献给目标函数，无论其是否具有代表

2

:ERM（）、公平性强调（）和对异常值的性、非典型或甚至错误标记。这种均匀加权使得ERM

v

i鲁棒性（）之间插值。我们在两个代表性的流任在存在异常值、噪声数据[2,3]或类别不平衡[4,5]的

x

r务上进行了在线TERM的经验验证：对抗性异常值情况下变得脆弱，这些都是实际学习场景中常见的问

a

下的稳健线性回归和二元分类中少数类检测。我们的题。大量的研究工作已经解决了标准ERM[6,7,8]的

结果显示，负倾斜有效抑制了异常值的影响，而正倾这些缺点。研究人员提出了公平感知的目标函数以确

斜则在对精度影响最小的情况下提高了召回率，所有保子组之间的平衡训练[6,7]，并且改进了稳健性公

这些都以每个样本的计算成本相当于ERM的方式实式以提高测试性能[8]。在寻找ERM替代方案的过程

现。因此，在高效单一样本学习环境中，在线TERM中，已在不同设置中探索了各种倾斜技术，包括重要

恢复了经典TERM的完整鲁棒性-公平性光谱。性采样[9]、序列决策制定[10,11]和大偏差理论[12]。

IndexTerms—倾斜经验风险最小化，在线学习，倾斜经验风险最小化（TERM）通过一个倾斜超参数

异常值检测，鲁棒性，公平性。[13,14,15]扩展了ERM框架。TERM不是最小化平