关于finetune的一些基础知识.pdfVIP

4.1 Fine tuning 模型微调 4.1.1 什么是微调 针对于某个任务，自己的训练数据不多，那怎么办？ 没关系，我们先找到一个 同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的 数据，调整一下参数，再训练一遍，这就是微调（fine-tune ）。 PyTorch 里面 提供的经典的网络模型都是官方通过 Imagenet 的数据集与训练好的数据，如 果我们的数据训练数据不够，这些数据是可以作为基础模型来使用的。 为什么要微调 1. 对于数据集本身很小（几千张图片）的情况，从头开始训练具有几千 万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求 越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特 征提取能力，只能靠微调已经训练好的模型。 2. 可以降低训练成本：如果使用导出特征向量的方法进行迁移学习，后 期的训练成本非常低，用 CPU 都完全无压力，没有深度学习机器也 可以做。 3. 前人花很大精力训练出来的模型在大概率上会比你自己从零开始搭的 模型要强悍，没有必要重复造轮子。 迁移学习 Tra