深度学习应用开发 第7章 迁移学习.pptxVIP

第7章迁移学习

目录1迁移学习概念01任务迁移学习的基本问题02任务迁移学习的应用领域03任务

1迁移学习概念

1迁移学习概念对于卷积神经网络而言，不同深度的卷积层能够识别的特征会有所不同。简单来说，较浅的卷积主要负责提取图像的边缘或线条等特征，较深的卷积层基于浅层提取到的特征，进一步提取特征，例如鼻子、眼睛或耳朵等。浅层网络提取的特征具有一定的共性，举一个经典的例子：使用拥有数万笔训练数据的ImageNet数据集训练网络模型，可以学习到非常多样的特征，这种网络模型称为预训练模型(Pre-TrainedModel)。

1迁移学习概念当完成新数据集的分类任务时，不必搭建一个全新的网络模型从头训练，可以在预训练模型的基础上进行微调训练模型，以得到适用于新数据的分类的模型。这种训练方式被称为迁移学习（TransferLearning)。在图像处理任务中，使用ImageNet的预训练网络进行迁移学习，能够获得更好的模型，且模型训练时间更短。

2迁移学习的基本问题

2迁移学习的基本问题（1）何时迁移给定待学习的目标，首先要做的便是判断任务是否适合进行迁移学习。（2）何处迁移判断任务适合迁移学习之后，第二步要解决的是从何处进行迁移。包括要迁移什么知识，从那个地方进行迁移。（3）如何迁移如何迁移要求学习最优的迁移学习方法，迁移学习根据学习方法可以分为：基于实例的迁移学习、基于特征的迁移学习、基于模型的迁移学习以及基于关系的迁移学习。

3迁移学习的应用领域

3迁移学习的应用领域（1）虽然有大量的数据样本，但是大部分数据样本是无标注的，而且想要继续增加更多的数据标注，需要付出巨大的成本。在这种场景下，利用迁移学习思想，可以寻找一些和目标数据相似而且已经有标注的数据，利用数据之间的相似性对知识进行迁移，提高对目标数据的预测效果或者标注精度。（2）想要获取具有更强泛化能力，但是数据样本较少。机器学习的成功应用依赖于大量有标签数据的可用性。然而，高质量有标签数据总是供不应求。传统的机器学习算法常常因为数据量小而产生过拟合问题，因而无法很好地泛化到新的场景中。（3）数据来自不同的分布。传统的机器学习算法假设训练和测试数据来自相同的数据分布。然而，这种假设对于许多实际应用场景来说无法满足。在许多情况下，数据分布不仅会随着时间和空间而变化，也会随着不同的情况而变化，因此我们可能无法使用相同的数据分布来对待新的训练数据。在不同于训练数据的新场景下，已经训练完成的模型需要在使用前进行调整。

目录1迁移学习方法依据01任务四种迁移学习方法02任务

1迁移学习方法依据

1迁移学习方法依据迁移学习的训练方法和技巧主要依据两种情况：（1）新数据集的大小如果新数据集的数据量为几万笔数据，就属于大数据集；如果新数据集的数据量为几千或几百笔数据，就属于小数据集。（2）数据集的相似程度新数据集与预训练模型所使用的数据集之间的相似程度。例如，猫与老虎属于相似度高的数据，而猫与桌子则属于相似度低的数据。

2四种迁移学习方法

2四种迁移学习方法根据新数据集的大小和数据集的相似程度，可以将迁移学习方法分为四种情况：（1）小数据集相似数据（2）小数据集不相似数据（3）大数据集相似数据（4）大数据集不相似数据

2四种迁移学习方法（1）小数据集相似数据小数据集在庞大的网络架构上训练时容易发生过拟合问题，因此预训练模型的权重必须保持不变。由于新数据集与预训练模型使用的数据集相似性高，新数据集在每一层卷积层都有相似的特征，尤其是更高层的卷积层，因此提取特征的卷积层不需要改变，只对处理特征分类的全连接层进行改变即可。故而我们将最后几层全连接层删除，并加上新的全连接层。

2四种迁移学习方法步骤如下：(1）删除全连接层：可以选择删除最后一层的全连接层或删除多层的全连接层。(2）新增全连接层：将新增加的全连接层接在原来的网络架构后面，且最后一层全连接层的输出与新数据集的类别数一样。只训练新增的全连接层。(3）固定卷积层的权重：在训练新的网络架构时，将大部分网络层的权重固定。不进行训练。

2四种迁移学习方法（2）小数据集不相似数据因为小数据集在庞大的网络架构上训练时容易发生过拟合问题，所以预训练模型的权重必须保持不变。由于新数据集与预训练模型使用的数据集相似度低，新数据集只有在低层卷积层有相似特征，更高层卷积层的特征大多不相似，因此只需要保留低层卷积层，其他卷积层和全连接层都删除，并加入新的全连接层，

2四种迁移学习方法步骤如下：(1）删除全连接层：删除大部分网络，只保留前面小部分网络层（提取线条、颜色或纹路的网络层）。(2）新增全连接层：将新增加的全连接层接在原来的网络架构后面，且最后一层全连接层输出与新数据集的类别一样。(3）固定卷积层的权重：在训练新的网络架构时，将大部分网络层的权