AI系列深度10期：预训练与后训练如何塑造大模型？.pptxVIP

增持（维持）

投资要点

n预训练与后训练是理解大模型能力形成的一组关键框架。预训练利用海量低成本、弱标注或无标注数据学习通用底座，决定能力来源和上限；后训练利用少量高质量指令、偏好、反馈或可验证奖励数据进行适配，决定能力的调用方式、指令遵循、偏好对齐及特定任务中的推理表现。

n当前模型能力与训练的关系主要聚焦三个问题：能力主要来自预训练还是后训练，后训练究竟是塑形还是可带来新推理能力；两阶段是否正在扩展为预训练、中训练、后训练三阶段；规模化重心是否从预训练转向后训练与推理时计算。

n数字AI与物理AI在训练框架上同构、在数据和反馈上分立。数字AI预训练主要依赖文本和图文语料