大规模预训练模型在训练与推理阶段的算力优化研究.docxVIP

大规模预训练模型在训练与推理阶段的算力优化研究

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

大规模预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1预训练模型的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2大规模预训练模型的特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3大规模预训练模型的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

训练阶段算力优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1训练资源需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2算力优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．