9-大模型（LLMs）微调面.pdfVIP

大模型（LLMs）微调面

来自：AiGC面试宝典

宁静致远

大模型（LLMs）微调面

•1.如果想要在某个模型基础上做全参数微调，究竟需要多少显存？

•2.为什么SFT之后感觉LLM傻了?

•3.SFT指令微调数据如何构建?

•4.领域模型ContinuePreTrain数据选取？

•5.领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？

•6.领域模型ContinuePreTrain，如何让模型在预训练过程中就学习到更多的知识？

•7.进行SFT操作的时候，基座模型选用Chat还是Base?

•8.领域模型微调指令数据输入格式要求？

•9.领域模型微调领域评测集构建？

•10.领域模型词表扩增是不是有必要的？

•11.如何训练自己的大模型？

•12.训练中文大模型有啥经验？

•13.指令微调的好处？

•14.预训练和微调哪个阶段注入知识的？

•15.想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？

•16.多轮对话任务如何微调模型？

•17.微调后的模型出现能力劣化，灾难性遗忘是怎么回事？

•18