大语言模型有监督预训练与灾难性遗忘问题研究.pdfVIP

/LLM行业领军大佬带你大语言模型算法工程师/训练过程-有监督预训练【学习辅导笔记】

3-8训练过程-有监督预训练【学习辅导笔记】



章节



问答



课签



笔记



资料

什么是性遗忘(CatastrophicForgetting)问题？

性遗忘（CatastrophicForgetting）问题是指在模型进行新任务学习时，会忘记之前已经学习到

反馈

的知识或技能的现象。当模型在进行新任务的训练时，为了适应新任务的要求，模型会调整参数，

但这可能导致之前学习到的知识被覆盖或丢失，从而造成对先前任务的性能下降或遗忘。

性遗忘问题在持续学习或增量学习的场景中尤为突出。当模型需要不断适应新的数据和任务

时，它需要在保留旧任务知识的