大规模语言模型技术内核与工程实践指南.docxVIP

大规模语言模型技术内核与工程实践指南

目录

一、行业演进与宏观背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1生成式人工智能的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2LLM的技术范式转变．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3当前主流模型架构概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.4本指南的设计目标与阅读指引．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

二、算法内核与架构原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

三、训练策略与全流程构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1数据工程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2分布式并行训练技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.3长序列处理与上下文扩展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.4训练稳定性控制与损失函数调优．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.5模型检查点管理与恢复机制．．．．．