变分推理与分布三边测量用于长尾连续表示学习-计算机科学-机器学习-连续学习-变分自编码器.pdfVIP

变分推理与分布三边测量

用于长尾连续表示学习

121212

HaoDaiChongTangJagmohanChauhan

Abstract新型类别的顺序学习问题——这对于自适应语音助

手和智能监控等现实世界应用至关重要。虽然现有

连续学习（CL）在长尾数据分布中的应用

的CIL方法在受控环境中取得了有希望的结果，但

仍然是现实世界AI系统的关键挑战，模

它们的真实世界部署仍然受到非平稳、任务无关的

型必须在保持旧知识的同时顺序适应新类

数据流的阻碍——特别是在长尾分布下，尾部类别

别——尽管存在严重的类别不平衡。现有

本方法难以平衡稳定性和可塑性，经常在极由于样本稀少而遭受灾难性遗忘和偏差放大(Kirk-

译端样本稀缺的情况下崩溃。为了解决这个patricketal.,2016;LiHoiem,2018)。

中问题，我们提出了ViRN，一种将变分推长尾连续学习（LCIL）(Lietal.,2023;HeZhu,

断（VI）与分布三边测量结合的新型CL2024)的核心挑战在于极端的类别不平衡：大量的头

1

v框架，以实现稳健的长尾学习。首先，我们部类样本主导了训练，而尾部类别则面临严重的代

8通过变分自编码器建模类别条件分布，以表性不足（例如罕见的声音事件如玻璃破碎声、代

6

3减轻对头部类别的偏见。其次，我们通过表性不足的口音或稀有的物体如濒危物种）。传统

7

1基于Wasserstein距离的邻域检索和几何的使用重放缓冲区或正则化的方法无法平衡知识保

.

7融合重构长尾类分布，使能够有效地对齐留和无偏表示学习(Shietal.,2024)。最近的预训

0长尾类别表示。在六个长尾分类基准测试练模型（PTMs）(Zhouetal.,2024)通过大规模音

5

2中进行了评估——包括语音（如罕见的声频或视觉语料库中丰富的可迁移表示提供了希望，

:

v音事件、口音）和图像任务——ViRN比最这些表示增强了泛化并减轻了遗忘问题，同时生成

i

x先进的方法平均提高了%的准确性。分类器可以通过VAEs(KingmaWelling,2022)/

r

a扩散模型(Sohl-Dicksteinetal.,2015)合成尾部类

特征(Goswamietal.,2023)来解耦学习与数据偏

1.介绍

差。然而，这些方法在极端的数据稀缺性面前表现

连续学习（CL）(Wangetal.,2024)使模型能够从不佳：有限的样本导致分布估计不准确，因为生成

不断变化的数据流中逐步获取知识，类似于人类的模型无法从极少量的观察中可靠地捕捉真正的类别

学习。类别增量学习（CIL）(Rebuffi