大模型增量预训练指南.pdfVIP

大模型（LLMs）增量预训练篇

来自：AiGC面试宝典

•大模型（LLMs）增量预训练篇

•1.为什么要增量预训练？

•2.进行增量预训练需要做哪些准备工作？

•3.增量预训练所用训练框架？

•4.增量预训练训练流程是怎么样？

•5.增量预训练一般需要多大数据量？

•6.增量预训练过程中，loss上升正常么？

•7.增量预训练过程中，lr如何设置？

•8.增量预训练过程中，warmup_ratio如何设置？

•9.warmup的步数对大模型继续预训练是否有影响？

•10.学习率大小对大模型继续预训练后上下游任务影响？

•11.在初始预训练中使用Rewarmup对大模型继续预训练性能影响？

•致谢

1.为什么要增量预训练？

有一种观点，预训练学知识，指令微调学格式，强化学习对齐人类偏好，LIMA等算是这一观点的。

所以要想大模型有领域知识，得增量预训练。（靠指令微调记知识不靠谱，不是几十w条数据能做到的。）

2.进行增量预训练需要做哪些准