深度学习中迁移与多任务学习技术.pdfVIP

第十章迁移学习

10.1什么是迁移学习？

深度学习中，最强大的理念之一就是，有的时候神经网络可以从一个任务中习得知识，并

将这些知识应用到另一个独立的任务中。所以例如，也许你已经训练好一个神经网络，能够识

别像猫这样的对象，然后使用那些知识，或者部分习得的知识去帮助您更好地阅读x射线扫描

图，这就是所谓的迁移学习。

迁移学习最有用的场合是，如果你尝试优化任务B的性能，通常这个任务数据相对较少，

例如，在科中你知道很难收集很多射线扫描图来一个性能良好的科诊断系统，所

以在这种情况下，你可能会找一个相关但不同的任务，如图像识别，其中你可能用1百万张图

片训练过了，并从中学到很多低层次特征，所以那也许能帮助网络在任务在科任务上做得

更好，尽管任务没有这么多数据。迁移学习什么时候是有意义的？它确实可以显著提高你的学

习任务的性能，但我有时候也见过有些场合使用迁移学习时，任务实际上数据量比任务要少，

这种情况下增益可能不多。

10.2什么是多任务学习？

在迁移学习中，从任务A里学习只是然后迁移到任务B。在多任务学习中，同时开始学

习的，试图让单个神经网络同时做几件事情，然后希望这里每个任务都能帮到其他所有任务。

10.3多任务学习有什么意义？

第一，如果你训练的一组任务，可以