可持续学习方法的研究.docxVIP

III

可持续学习方法的研究

摘要

可持续学习方法的研究针对机器学习过程中的遗忘问题，深入探讨了不同策略对遗忘问题进行处理的解决方案与建议。灾难性遗忘是指神经网络在接受后续任务的训练后，丧失了之前任务所获取的知识。这一问题至今仍是顺序学习能力的人工智能系统所面临的挑战之一。对一种基于任务的硬注意力机制进行了探究，其可在当前任务的学习过程中保留先前任务的信息，而不会干扰当前任务的学习。采用随机梯度下降方法，使每个任务同时学习硬注意力掩码，并借助先前学到的掩码来调整当前任务的学习过程。

研究结果显示，这个机制可以有效地减少可持续学习中的灾难性遗忘。这一发现对于在线学习或网络压缩应用具有重要的理