通才框架：解耦自然泛化与鲁棒泛化提升模型性能.pdfVIP

通才：解耦自然泛化和鲁棒泛化

1*1†1国家通用重点北

，2

京大学智能科学与技术学院2

2023

年

M

24通过训练获得的深度神经网络一直受到对抗

]

.样本的困扰。虽然对抗训练展示了其防御对抗样本的

C

能力，但不幸的是，它导致了自然泛化的不可避免下

3

V

1降。为了解决这一问题，我们从联合训练中解耦自然

8

[泛化和鲁棒泛化，并为每一种泛化制定不同的训练策

3

cs

1

.略。具体来说，我们没有最小化这两个泛化误差期望

上的全局损失，而是提出了一个称为通才的双专家框

架，在该框架中，我们同时使用任务感知策略训练基

3础学习器，使它们能够专注于自己的领域。在训练过

0图1.与其他高级