Modecope训练平台及GPT2模型微调实践.pdfVIP

ModeScope训练平台

服务器选配训练模型

课程内容

1.模型微调的基本模式

2.ModelScope训练平台介绍

3.使用ModelScope训练GPT2

4.vscode配置服务器

案例：使用服务器训练GPT2中文古诗词模型

微调模式

•全量微调

•对所有参数进行微调

•对算力和显存要求高

•效果最佳

•局部微调

•只调整某些某部分参数，例如输出层，输入层或某些特殊层

•对算力和显存要求一般

•增量微调

•通过新增参数的方式进行微调，新的知识在新的参数中。

•对显存和算力要求低

•效果不如全量微调

课后作业

1.掌握模型微调的基本概念

2.掌握ModelScope训练平台配置与使用方法

3.完成GPT2中文古诗词生成模型实验（服务器训练）

End

Thanks