以任务为中心的巩固与间隔回忆：让神经网络像大学生一样学习.pdfVIP

本文是预印本，尚未经过同行评审|版本：2025年7月

以任务为中心的巩固与间隔回忆：让神经网络像大学生一样

学习

PritalBamnodkar

research.prital@

ABSTRACT

本

深度神经网络经常遭受一种称为灾难性遗忘的关键限制，即在学习新任务后，过去任务的性

译能会下降。本文介绍了一种受到人类学习策略（如主动回忆、刻意练习和间隔重复）启发的

中新颖持续学习方法，名为任务聚焦巩固与间隔回忆(TFC-SR)。TFC-SR通过一种我们称为“主

1动回忆探测”的机制增强了标准的经验回放。这是一种定期的、以任务为中心的模型记忆评

v估，可以稳定过去知识的表现形式。我们在SplitMNIST和SplitCIFAR-100基准测试中将

9

0TFC-SR与领先的基于正则化和基于回放的方法进行了比较。我们的结果显示，TFC-SR显

1著优于这些方法。例如，在SplitCIFAR-100上，它实现了最终准确率13.17%，而标准回放

1的准确率为7.40%。我们证明这种优势来自于探测本身的稳定效果，而不是由于回放量的不

2

.同。此外，我们分析了内存大小和性能之间的权衡，并表明虽然TFC-SR在受内存约束环境

7

0中表现更好，但在内存充足的情况下增加回放量仍然更有效。我们得出结论，TFC-SR是一

5种稳健且高效的方法，强调将主动记忆检索机制整合到持续学习系统中的重要性。

2

:

vKeywords连续学习灾难性遗忘深度神经网络基于回放的持续学习

i

x

r

a1介绍

深度神经网络经常遭受一种被称为灾难性遗忘的关键限制：当模型学习新的任务时，其在之前学过的任务

上的表现会下降。[1].这个问题源于稳定性-可塑性的困境[2]，即模型必须足够灵活以学习新任务，同时又必

须稳定到足以保留现有知识。这严重影响了模型在现实场景中的表现能力，在这些场景中，模型必须随着时

间的推移逐步适应新的数据和任务。

本文旨在测试一种受到人类有效的协同学习策略启发的方法，例如主动回忆[3]、刻意练习[4]和间隔重复

[5]。主动回忆涉及费力地从记忆中检索信息。刻意练习是指研究一项任务直到达到一定的熟练程度。间隔重

复指的是以递增的间隔复习信息，间隔长度由对任务掌握的程度决定。例如，如果一个学生在学习日语，他

们可能会使用像Anki这样的闪卡应用程序频繁测试较难的词汇（主动回忆），而较容易且经常被记住的单词

则会在越来越长的时间间隔内进行研究（间隔重复）。

本文提出并评估了一种新颖的方法论，旨在在持续学习框架内复制这些人类学习方法。主要贡献是任务聚

焦巩固与间隔回忆（TFC-SR），其中模型在学习新任务的同时通过经验回放的形式“练习”之前已学过的任

务。我们方法的核心是主动回忆探测器，这是一种定期的“记忆检查”，模型在此过程中对过去的经历进行前

普里塔尔·班诺德卡尔普里塔尔·班诺德卡尔普里塔尔·班诺德卡尔

向传递以评估其自身的记忆状态。此次记忆检查的结果将由一个自适应间隔计划使用，该计划确定未来检查

的强度和频率。对于这次初步调查，“朴素”的掌握概念被用于其中，即掌握指的是在先前已学任务上保持的

表现超过预定义阈值。为了验证目的，TFC-SR在分割MNIST数据集上进行了测试，然后是在更具挑战性的

分割CIFAR-100基准上进行测试，并与标准持续学习基线方法进行比较，包括像EWC[6]和SI[7]这样的顶

级正则化方法，以证明其在缓解灾难性遗忘方面的作用