大模型微调常用术语与知识总结.docx

大模型微调常用术语与知识总结

一、基础核心术语

准确理解基础术语是区分微调方案、避免技术选型走偏的前提，所有上层微调方法均建立在以下核心概念之上。

?大模型微调（Fine-Tuning）：在完成通用语料预训练的基础模型权重基础上，使用特定场景的标注数据集更新模型部分/全部参数，让模型适配垂直任务要求的训练过程。与预训练的核心差异为：预训练使用万亿token级通用语料、训练周期数周、学习通用知识；微调使用百万token级以内垂直语料、训练周期数小时到数天、适配特定场景的输出规则与知识，训练步数仅为预训练的千分之一级别。

?基础模型（BaseModel）：完成通用语料预训练、未经过任何对齐训