基于预训练模型的持续学习.pptx

基于预训练模型的持续学习：综述

概述什么是持续学习？传统持续学习与基于PTM的持续学习基于PTM的CL方法的三种分类数据集、基准测试和实验结果

什么是持续学习？现实世界的人工智能系统面临着随时间演变的流数据。需要在学习新任务的同时，保留从先前任务中获得的知识。灾难性遗忘：学习新任务会抹去旧知识学习任务1→学习任务2→学习任务3→...记住之前的所有任务?出色完成新任务?无法访问旧的训练数据

传统持续学习与基于PTM的持续学习传统持续学习：随机初始化→在任务1上训练→在任务2上训练→...从零开始，权重随机初始化必须同时学习如何提取特征和如何分类。